月之暗面Kimi引擎是怎么煉成的？底層推理系統方案深度揭秘（二）

AIGC動態歡迎閱讀

原標題：月之暗面Kimi引擎是怎么煉成的？底層推理系統方案深度揭秘（二）
關鍵字：負載,報告,實例,節點,緩存
文章來源：算法邦
內容字數：0字

內容摘要：

直播預告 | 7月5日晚7點，「智猩猩機器人新青年講座」第10講正式開講，北京通研院研究員賈寶雄博士主講，主題為《具身智能視角下的三維場景理解、生成與交互》，歡迎掃名~繼上一篇許欣然的月之暗面kimi底層推理系統方案揭秘，本篇繼續。
作者分享在知乎上引起了廣泛討論，很多system方向的大佬炸出來了，本文根據作者清華助理教授zhangmingxing的一些分享整理，歡迎大家去圍觀知乎討論區：
李博杰（華為天才少年）：2020年我開始做分離式內存，做了非常高速的網絡互線和很大的內存池（不能透露更多技術指標），當時搞了存儲、數據庫、AI和云混合部署等幾個場景，感覺Persistent KV Cache會是disaggregated memory一個很重要的應用場景。很高興看到Moonshot把它實現了。Prefill和Decoding分離，算力型硬件和內存帶寬型硬件解耦，也是我非常喜歡的架構設計。
作者：昨天華為云的workshop上還聊到這個，分離式內存終于算是有了一個非常核心的落地場景。不過主要是帶寬bound，iops bound 的場景想要落地還需要更多的探索，也包括 cx

原文鏈接：月之暗面Kimi引擎是怎么煉成的？底層推理系統方案深度揭秘（二）

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點關注模型與應用。