kimi chat大模型的200萬長度無損上下文可能是如何做到的？

AIGC動態(tài)歡迎閱讀

原標(biāo)題：kimi chat大模型的200萬長度無損上下文可能是如何做到的？
關(guān)鍵字：報告,知乎,侵權(quán),序列,機(jī)器
文章來源：算法邦
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

7月11日19點(diǎn)，「智猩猩自動駕駛新青年講座」第36講將開講，主講理想汽車最新成果：基于MLLM的閉環(huán)規(guī)劃智能體PlanAgent，由理想汽車實(shí)習(xí)研究員、中國科學(xué)院自動化研究所在讀博士鄭宇鵬主講，主題為《面向自動駕駛的3D密集描述與閉環(huán)規(guī)劃智能體》。掃碼預(yù)約視頻號直播~導(dǎo)讀本文來自知乎，作者為方佳瑞。出于學(xué)術(shù)/技術(shù)分享進(jìn)行轉(zhuǎn)載，如有侵權(quán)，聯(lián)系刪文。
本文是作者對知乎問題“kimi chat大模型的200萬長度無損上下文可能是如何做到的？”的回答，以及閱讀Mooncake技術(shù)報告的學(xué)習(xí)筆記。
原文鏈接：https://www.zhihu.com/question/649192998/answer/3546745976這周，清華和Moonshot發(fā)了一個技術(shù)報告，介紹Kimi背后的LLM服務(wù)系統(tǒng)Mooncake，它采用分離式設(shè)計，將Prefill和Decode兩階段解耦，構(gòu)建了一個全局KVCache Pool，實(shí)現(xiàn)以Cache為中心的調(diào)度。
Moonshot作為MaaS頭部廠商，以其過硬的技術(shù)產(chǎn)品實(shí)力和明星的團(tuán)隊陣容聞名于世。和其他大模型公司不一樣，他們很少發(fā)技術(shù)報告或?qū)ν庾黾夹g(shù)分享。這次

原文鏈接：kimi chat大模型的200萬長度無損上下文可能是如何做到的？