梁文鋒、楊植麟同一天文“秀肌肉”，主題居然撞上了！下一代模型要來(lái)了？

DeepSeek和月之暗面，有點(diǎn)像，又不太一樣。

原標(biāo)題：梁文鋒、楊植麟同一天文“秀肌肉”，主題居然撞上了！下一代模型要來(lái)了？
文章來(lái)源：AI前線
內(nèi)容字?jǐn)?shù)：8151字

DeepSeek和月之暗面：長(zhǎng)文本處理技術(shù)的巔峰對(duì)決

近日，DeepSeek和月之暗面(Moonshot AI)兩家公司幾乎同時(shí)發(fā)布了關(guān)于改進(jìn)Transformer架構(gòu)注意力機(jī)制的研究成果，引發(fā)業(yè)界廣泛關(guān)注。兩篇論文都致力于提升AI處理長(zhǎng)文本的能力并降低計(jì)算成本，展現(xiàn)了行業(yè)對(duì)高效處理長(zhǎng)文本的迫切需求，以及技術(shù)創(chuàng)新競(jìng)爭(zhēng)的白熱化。

1. Transformer架構(gòu)的瓶頸：長(zhǎng)文本處理難題

Transformer架構(gòu)自2017年提出以來(lái)，極大地推動(dòng)了AI發(fā)展。然而，其注意力機(jī)制的計(jì)算復(fù)雜度與輸入序列長(zhǎng)度的平方成正比(O(n2))，導(dǎo)致處理長(zhǎng)文本(超過(guò)1萬(wàn)個(gè)token)時(shí)計(jì)算成本和內(nèi)存占用急劇增加，成為限制模型進(jìn)一步發(fā)展的瓶頸。

2. DeepSeek的NSA：原生可訓(xùn)練的稀疏注意力機(jī)制

DeepSeek提出的原生可訓(xùn)練稀疏注意力機(jī)制NSA(Natively Trainable Sparse Attention)，通過(guò)動(dòng)態(tài)分層稀疏策略，結(jié)合粗粒度token壓縮和細(xì)粒度token選擇，高效建模長(zhǎng)上下文。NSA的核心在于減少不必要的計(jì)算，在保持模型性能的同時(shí)顯著提升速度。其算法優(yōu)化針對(duì)現(xiàn)代硬件進(jìn)行優(yōu)化，并支持端到端訓(xùn)練，避免額外計(jì)算步驟。實(shí)驗(yàn)表明，NSA在多個(gè)長(zhǎng)文本任務(wù)中表現(xiàn)優(yōu)異，在處理64k長(zhǎng)度序列時(shí)，解碼、前向傳播和后向傳播分別實(shí)現(xiàn)了2.5倍、3.1倍和2.8倍的加速。

3. 月之暗面的MoBA：混合塊注意力架構(gòu)

月之暗面提出的混合塊注意力架構(gòu)MoBA(Mixture of Block Attention)，同樣致力于解決長(zhǎng)文本處理的計(jì)算瓶頸。MoBA的核心思想是讓模型自主決定關(guān)注哪些部分，而不是人為規(guī)定，借鑒了“專家混合(MoE)”的思想。MoBA能夠靈活切換全注意力和稀疏注意力，在保持模型性能的同時(shí)顯著降低計(jì)算量。該技術(shù)已應(yīng)用于其AI助手Kimi，使其能夠高效處理長(zhǎng)文本請(qǐng)求。

4. 兩家公司技術(shù)路線的相似性與差異

DeepSeek和月之暗面兩家公司在技術(shù)路線上的相似性體現(xiàn)在都采用了稀疏注意力機(jī)制來(lái)解決長(zhǎng)文本處理問(wèn)題，但具體實(shí)現(xiàn)方法有所不同。DeepSeek的NSA更注重算法優(yōu)化和硬件適配，而MoBA則更強(qiáng)調(diào)模型的靈活性和自適應(yīng)性。

5. 思維鏈學(xué)習(xí)的碰撞：R1與K1.5的較量

這并非兩家公司第一次在核心思想上“撞車”。此前，DeepSeek的R1和月之暗面的K1.5都采用了強(qiáng)化學(xué)習(xí)(RL)和思維鏈學(xué)習(xí)(COT)來(lái)提升AI推理能力。K1.5在技術(shù)細(xì)節(jié)方面更為深入，但由于DeepSeek的R1更受關(guān)注，K1.5的成果未得到充分的討論。OpenAI在其論文中也提及了R1和K1.5，認(rèn)可了這兩個(gè)模型在推理能力方面的成就。

6. 未來(lái)展望：模型創(chuàng)新邁向新階段

DeepSeek和月之暗面在長(zhǎng)文本處理和推理能力方面的持續(xù)創(chuàng)新，預(yù)示著AI模型技術(shù)正邁向新的階段。兩家公司在核心技術(shù)上的“撞車”也從側(cè)面反映了行業(yè)發(fā)展方向的趨同，以及對(duì)高效、智能AI模型的共同追求。

聯(lián)系作者

文章來(lái)源：AI前線
作者微信：
作者簡(jiǎn)介：面向AI愛(ài)好者、開發(fā)者和科學(xué)家，提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實(shí)踐案例，助你全面擁抱AIGC。