新架構掀翻Transformer！無限上下文處理，2萬億token碾壓Llama 2

AIGC動態歡迎閱讀

原標題：新架構掀翻Transformer！無限上下文處理，2萬億token碾壓Llama 2
關鍵字：架構,上下文,模型,數據,任務
文章來源：新智元
內容字數：5525字

內容摘要：

新智元報道編輯：桃子 好困
【新智元導讀】Transformer王座即將被取而代之！Meta、USC、CMU和UCSD聯合提出了性新架構Megalodon，能夠處理無限上下文，在2萬億token訓練任務中，性能超越Llama2-7B實現了非凡的效率。繼Mamba之后，又一敢于挑戰Transformer的架構誕生了！
來自Meta、南加州大學（USC）、CMU和UCSD的研究人員提出了全新的神經網絡架構——Megalodon（巨齒鯊）。
這是專為有效處理「無限上下文」長度的LLM預訓練，以及推理而設計的架構。
論文地址：https://arxiv.org/abs/2404.08801
我們都知道，Transformer架構個在處理長上下文時，會受到二次復雜度，以及長度外推能力弱的限制。
盡管已有次二次方解決方案（諸如線性注意力，狀態空間模型），但它們在預訓練效率，甚至下游任務的準確率上，通常還不及Transformer。
Megalodon的出現，就是為了解決無限處理上下文的難題。
同時，它可以同時實現高效訓練（減少通信和計算量），以及高效推理（保持恒定的KV緩存）。
值得一提的是

原文鏈接：新架構掀翻Transformer！無限上下文處理，2萬億token碾壓Llama 2

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。