AIGC動態歡迎閱讀

原標題：顛覆Transformer霸權！CMU普林斯頓推Mamba新架構，解決致命bug推理速度暴增5倍

關鍵字：模型,序列,架構,卷積,研究人員

文章來源：新智元

內容字數：15024字

內容摘要：新智元報道編輯：編輯部【新智元導讀】誕生6的Transformer，霸主之位終于要被顛覆了？CMU、普林斯頓研究者發布的Mamba，解決了Transformer核心注意力層無法擴展的致命bug，推理速度直接飆升了5倍！一個時代要結束了？深度學習進入新紀元，Transformer的霸主地位，要被掀翻了？2017年6月12日橫空出世，讓NLP直接變天，制霸自然語言領域多年的Transformer，終于要被新的架構打破壟斷了。Transformer雖強大，卻有一個致命的bug：核心注意力層無法擴展到長期上下文。剛剛，CMU和普林斯頓的研究者發布了Mamba。這種SSM架構在語言建模上與Transformers不相上下，而且還能線性擴展，同時具有5倍的推理吞吐量！論文地址：https://arxiv.org/abs/2312.00752論文一作Albert Gu表示，二次注意力對于信息密集型模…

原文鏈接：點此閱讀原文：顛覆Transformer霸權！CMU普林斯頓推Mamba新架構，解決致命bug推理速度暴增5倍

聯系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。