DeepSeek的多頭潛在注意力（MLA）和11種KV-Cache技巧演進大總結

總結11篇最近的研究論文，歸納三大類。

原標題：DeepSeek的多頭潛在注意力（MLA）和11種KV-Cache技巧演進大總結
文章來源：智猩猩GenAI
內容字數：9138字

2025中國生成式AI大會預告及KV-Cache技術深度解析

2025中國生成式AI大會（北京站）即將于4月1日-2日舉行，聚焦DeepSeek與大模型等前沿技術。本文將總結11篇最新研究論文，探討KV-Cache如何優化大型語言模型（LLM）的文本生成速度。

1. 文本生成緩慢的原因：自注意力機制的計算瓶頸

大型語言模型的文本生成速度慢，主要源于自注意力機制。在生成每個新token時，模型需要重新計算所有先前token的上下文信息，計算成本隨序列長度呈平方增長（O(n2)）。

2. KV緩存：巧妙的權衡

KV緩存通過預計算并存儲每個token的鍵(key)和值(value)來解決這個問題。生成新token時，只需查找相關信息，將計算復雜度降低到線性(O(n))。但與此同時，KV緩存也增加了內存消耗。

3. 優化KV緩存的三大方法

為了解決KV緩存的內存問題，研究人員提出了三大類優化方法：

3.1 Token選擇和修剪方法

1. Heavy-Hitter Oracle (H2O+)：識別并保留重要token，減少緩存大小。

2. StreamLLM+：利用注意力匯聚現象，保留初始token，處理最近上下文。

3. Value-Aware Token Pruning (VATP)：綜合考慮注意力分數和值向量信息，進行token修剪。

3.2 后處理壓縮技術

4. Adaptive KV Compression (FastGen)：根據運行時注意力模式自適應地選擇壓縮策略。

5. 動態內存壓縮 (DMC+)：自適應地合并token，降低內存占用。

6. 范數基礎的壓縮：利用鍵嵌入范數與注意力分數的相關性進行壓縮。

3.3 體系結構重設計

7. 多查詢注意力 (MQA+)：共享鍵值頭，減少緩存大小。

8. 分組查詢注意力 (GQA+)：在MQA和傳統多頭注意力之間權衡。

9. 多頭潛在注意力 (MLA)：使用低秩潛在壓縮技術，減少KV緩存大小。

10. SnapKV：利用觀察窗口識別注意力模式進行壓縮。

11. 只緩存一次 (YOCO)：修改Transformer架構，優化緩存機制。

4. 結論

KV-Cache技術是優化LLM推理速度的關鍵。通過token選擇、后處理壓縮和架構重設計等方法，研究人員不斷提升LLM的效率，使其在長上下文和資源受限的場景下也能良好運行。 KV-Cache仍然是一個活躍的研究領域，未來將有更多創新涌現。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下賬號，專注于生成式人工智能，主要分享技術文章、論文成果與產品信息。