Mamba-2新架構(gòu)出世一統(tǒng)江湖！普林斯頓CMU華人再出神作，性能狂飆8倍

AIGC動態(tài)歡迎閱讀

原標(biāo)題：Mamba-2新架構(gòu)出世一統(tǒng)江湖！普林斯頓CMU華人再出神作，性能狂飆8倍
關(guān)鍵字：注意力,序列,模型,維度,矩陣
文章來源：新智元
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

新智元報道編輯：編輯部
【新智元導(dǎo)讀】在開源社區(qū)引起「海嘯」的Mamba架構(gòu)，再次卷土重來！這次，Mamba-2順利拿下ICML。通過統(tǒng)一SSM和注意力機制，Transformer和SSM直接成了「一家親」，Mamba-2這是要一統(tǒng)江湖了？年前，Mamba被頂會ICLR拒稿的消息曾引起軒然。
甚至有研究人員表示：如果這種工作都被拒了，那我們這些「小丑」要怎么辦？
這次，新一代的Mamba-2卷土重來、再戰(zhàn)頂會，順利拿下了ICML 2024！
仍是前作的兩位大佬（換了個順序），仍是熟悉的配方：
論文地址：https://arxiv.org/pdf/2405.21060
開源代碼和模型權(quán)重：https://github.com/state-spaces/mamba
不同的是，作者在更高的視角上，統(tǒng)一了狀態(tài)空間模型（SSM）和注意力機制（Attention），也就是文章標(biāo)題所說的「Transformers are SSMs」。
——這下咱們都是一家人了，不用動不動就「打生」了。
性能方面，Mamba-2采用了新的算法（SSD），比前代提速2-8倍，對比FlashAttention-

原文鏈接：Mamba-2新架構(gòu)出世一統(tǒng)江湖！普林斯頓CMU華人再出神作，性能狂飆8倍

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展，關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響，領(lǐng)航中國新智能時代。