挑戰(zhàn)Transformer的Mamba是什么來頭？作者博士論文理清SSM進(jìn)化路徑

AIGC動態(tài)歡迎閱讀

原標(biāo)題：挑戰(zhàn)Transformer的Mamba是什么來頭？作者博士論文理清SSM進(jìn)化路徑
關(guān)鍵字：序列,模型,長程,建模,狀態(tài)
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：14845字

內(nèi)容摘要：

機(jī)器之心報道
編輯：張倩對 SSM 感興趣的研究者不妨讀一下這篇博士論文。
在大模型領(lǐng)域，Transformer 憑一己之力撐起了整個江山。但隨著模型規(guī)模的擴(kuò)展和需要處理的序列不斷變長，Transformer 的局限性也逐漸凸顯，比如其自注意力機(jī)制的計算量會隨著上下文長度的增加呈平方級增長。為了克服這些缺陷，研究者們開發(fā)出了很多注意力機(jī)制的高效變體，但收效甚微。
最近，一項名為「Mamba」的研究似乎打破了這一局面，它在語言建模方面可以媲美甚至擊敗 Transformer。這都要?dú)w功于作者提出的一種新架構(gòu) —— 選擇性狀態(tài)空間模型（ selective state space model），該架構(gòu)是 Mamba 論文作者 Albert Gu 此前主導(dǎo)研發(fā)的 S4 架構(gòu)（Structured State Spaces for Sequence Modeling ）的一個簡單泛化。
在 Mamba 論文發(fā)布后，很多研究者都對 SSM（state space model）、S4 等相關(guān)研究產(chǎn)生了好奇。其中，有位研究者表示自己要在飛機(jī)上把這些論文都讀一下。對此，Albert Gu 給出了更好的

原文鏈接：挑戰(zhàn)Transformer的Mamba是什么來頭？作者博士論文理清SSM進(jìn)化路徑

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺