誰將取代 Transformer？

AIGC動態歡迎閱讀

原標題：誰將取代 Transformer？
關鍵字：模型,架構,報告,序列,長度
文章來源：人工智能學家
內容字數：11972字

內容摘要：

來源：AI科技評論
作者：張進（ AI科技評論）
2017年谷歌發表的論文《Attention Is All You Need》成為當下人工智能的一篇，此后席卷全球的人工智能熱潮都可以直接追溯到Transformer 的發明。
Transformer 由于其處理局部和長程依賴關系的能力以及可并行化訓練的特點，一經問世，逐步取代了過去的 RNN（循環神經網絡）與 CNN（卷積神經網絡），成為 NLP（自然語言處理）前沿研究的標準范式。
今天主流的 AI 模型和產品——OpenAI 的ChatGPT、谷歌的 Bard、Anthropic 的 Claude，Midjourney、Sora到國內智譜 AI 的 ChatGLM 大模型、百川智能的 Baichuan 大模型、Kimi chat 等等——都是基于Transformer 架構。
Transformer 已然代表了當今人工智能技術無可爭議的黃金標準，其主導地位至今無人能撼動。
在Transformer 大行其道的同時，出現了一些反對的聲音，如：“Transformer 的效率并不高”；“Transformer 的天花板很容易窺見”；

原文鏈接：誰將取代 Transformer？

聯系作者

文章來源：人工智能學家
作者微信：AItists
作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構