參與開源的還有阿里云、華為存儲、面壁智能、趨境科技等

原標題：Kimi開源底層推理框架，1小時GitHub攬星1.2k
文章來源：量子位
內(nèi)容字數(shù)：3445字

Kimi底層推理架構(gòu)Mooncake開源

近日，Kimi底層推理架構(gòu)Mooncake正式宣布開源，該架構(gòu)承載了Kimi線上80%以上的流量。此次開源由月之暗面Kimi與清華大學(xué)等機構(gòu)聯(lián)合發(fā)布，采用分階段的方式逐步開放高性能KVCache多級緩存Mooncake Store的實現(xiàn)，并兼容各類推理引擎及底層存儲/傳輸資源。

1. Mooncake的核心技術(shù)

Mooncake系統(tǒng)基于KVCache中心的解耦架構(gòu)，分離了預(yù)填充集群與解碼集群，充分利用了GPU集群中的CPU、DRAM和SSD資源。其調(diào)度程序旨在平衡整體吞吐量與延遲相關(guān)的服務(wù)級別目標（SLO）。在流量高峰期，Mooncake通過早期拒絕策略和預(yù)測未來負載的方法來有效應(yīng)對超載問題。

2. 提升推理性能

根據(jù)論文實驗結(jié)果，Mooncake在某些模擬場景中可實現(xiàn)高達525%的吞吐量提升，同時遵守SLO標準。在實際工作負載下，Mooncake使Kimi能夠處理超過75%的請求。許欣然表示，目前該系統(tǒng)承擔了Kimi線上80%以上的流量，極大提升了用戶體驗并降低了運營成本。

3. 開源項目的前景

為了加速Mooncake技術(shù)框架的應(yīng)用與推廣，Kimi聯(lián)合多家機構(gòu)發(fā)布了開源項目，參與方包括AISoft、阿里云、華為存儲等。Mooncake項目將為大模型時代構(gòu)建新的高性能內(nèi)存語義存儲標準接口，鼓勵更多企業(yè)與研究機構(gòu)共同探索高效的模型推理系統(tǒng)架構(gòu)創(chuàng)新。

4. 結(jié)論

Mooncake的開源標志著在大模型推理技術(shù)領(lǐng)域的一個重要進展，未來有望推動整個行業(yè)向更高效的推理平臺發(fā)展。開發(fā)者和研究者可以通過GitHub獲取Mooncake的相關(guān)資源，參與到這一創(chuàng)新項目中。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破