顛覆Transformer霸權(quán)！CMU普林斯頓推Mamba新架構(gòu)，解決致命bug推理速度暴增5倍

AIGC動態(tài)歡迎閱讀

原標題：顛覆Transformer霸權(quán)！CMU普林斯頓推Mamba新架構(gòu)，解決致命bug推理速度暴增5倍

關(guān)鍵字：模型,序列,架構(gòu),卷積,研究人員

文章來源：新智元

內(nèi)容字數(shù)：15024字

內(nèi)容摘要：新智元報道編輯：編輯部【新智元導(dǎo)讀】誕生6的Transformer，霸主之位終于要被顛覆了？CMU、普林斯頓研究者發(fā)布的Mamba，解決了Transformer核心注意力層無法擴展的致命bug，推理速度直接飆升了5倍！一個時代要結(jié)束了？深度學(xué)習(xí)進入新紀元，Transformer的霸主地位，要被掀翻了？2017年6月12日橫空出世，讓NLP直接變天，制霸自然語言領(lǐng)域多年的Transformer，終于要被新的架構(gòu)打破壟斷了。Transformer雖強大，卻有一個致命的bug：核心注意力層無法擴展到長期上下文。剛剛，CMU和普林斯頓的研究者發(fā)布了Mamba。這種SSM架構(gòu)在語言建模上與Transformers不相上下，而且還能線性擴展，同時具有5倍的推理吞吐量！論文地址：https://arxiv.org/abs/2312.00752論文一作Albert Gu表示，二次注意力對于信息密集型模…

原文鏈接：點此閱讀原文：顛覆Transformer霸權(quán)！CMU普林斯頓推Mamba新架構(gòu)，解決致命bug推理速度暴增5倍

聯(lián)系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展，關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響，領(lǐng)航中國新智能時代。