DeepSeek和月之暗面，有點(diǎn)像，又不太一樣。

原標(biāo)題：梁文鋒、楊植麟同一天文“秀肌肉”，主題居然撞上了！下一代模型要來了？
文章來源：AI前線
內(nèi)容字?jǐn)?shù)：8151字

DeepSeek和月之暗面：長文本處理技術(shù)的巔峰對決

近日，DeepSeek和月之暗面(Moonshot AI)兩家公司幾乎同時發(fā)布了關(guān)于改進(jìn)Transformer架構(gòu)注意力機(jī)制的研究成果，引發(fā)業(yè)界廣泛關(guān)注。兩篇論文都致力于提升AI處理長文本的能力并降低計算成本，展現(xiàn)了行業(yè)對高效處理長文本的迫切需求，以及技術(shù)創(chuàng)新競爭的白熱化。

1. Transformer架構(gòu)的瓶頸：長文本處理難題

Transformer架構(gòu)自2017年提出以來，極大地推動了AI發(fā)展。然而，其注意力機(jī)制的計算復(fù)雜度與輸入序列長度的平方成正比(O(n2))，導(dǎo)致處理長文本(超過1萬個token)時計算成本和內(nèi)存占用急劇增加，成為限制模型進(jìn)一步發(fā)展的瓶頸。

2. DeepSeek的NSA：原生可訓(xùn)練的稀疏注意力機(jī)制

DeepSeek提出的原生可訓(xùn)練稀疏注意力機(jī)制NSA(Natively Trainable Sparse Attention)，通過動態(tài)分層稀疏策略，結(jié)合粗粒度token壓縮和細(xì)粒度token選擇，高效建模長上下文。NSA的核心在于減少不必要的計算，在保持模型性能的同時顯著提升速度。其算法優(yōu)化針對現(xiàn)代硬件進(jìn)行優(yōu)化，并支持端到端訓(xùn)練，避免額外計算步驟。實(shí)驗(yàn)表明，NSA在多個長文本任務(wù)中表現(xiàn)優(yōu)異，在處理64k長度序列時，解碼、前向傳播和后向傳播分別實(shí)現(xiàn)了2.5倍、3.1倍和2.8倍的加速。

3. 月之暗面的MoBA：混合塊注意力架構(gòu)

月之暗面提出的混合塊注意力架構(gòu)MoBA(Mixture of Block Attention)，同樣致力于解決長文本處理的計算瓶頸。MoBA的核心思想是讓模型自主決定關(guān)注哪些部分，而不是人為規(guī)定，借鑒了“專家混合(MoE)”的思想。MoBA能夠靈活切換全注意力和稀疏注意力，在保持模型性能的同時顯著降低計算量。該技術(shù)已應(yīng)用于其AI助手Kimi，使其能夠高效處理長文本請求。

4. 兩家公司技術(shù)路線的相似性與差異

DeepSeek和月之暗面兩家公司在技術(shù)路線上的相似性體現(xiàn)在都采用了稀疏注意力機(jī)制來解決長文本處理問題，但具體實(shí)現(xiàn)方法有所不同。DeepSeek的NSA更注重算法優(yōu)化和硬件適配，而MoBA則更強(qiáng)調(diào)模型的靈活性和自適應(yīng)性。

5. 思維鏈學(xué)習(xí)的碰撞：R1與K1.5的較量

這并非兩家公司第一次在核心思想上“撞車”。此前，DeepSeek的R1和月之暗面的K1.5都采用了強(qiáng)化學(xué)習(xí)(RL)和思維鏈學(xué)習(xí)(COT)來提升AI推理能力。K1.5在技術(shù)細(xì)節(jié)方面更為深入，但由于DeepSeek的R1更受關(guān)注，K1.5的成果未得到充分的討論。OpenAI在其論文中也提及了R1和K1.5，認(rèn)可了這兩個模型在推理能力方面的成就。

6. 未來展望：模型創(chuàng)新邁向新階段

DeepSeek和月之暗面在長文本處理和推理能力方面的持續(xù)創(chuàng)新，預(yù)示著AI模型技術(shù)正邁向新的階段。兩家公司在核心技術(shù)上的“撞車”也從側(cè)面反映了行業(yè)發(fā)展方向的趨同，以及對高效、智能AI模型的共同追求。

聯(lián)系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發(fā)者和科學(xué)家，提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實(shí)踐案例，助你全面擁抱AIGC。