誰(shuí)將替代 Transformer？

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：誰(shuí)將替代 Transformer？
關(guān)鍵字：模型,架構(gòu),序列,長(zhǎng)度,天花板
文章來(lái)源：AI科技評(píng)論
內(nèi)容字?jǐn)?shù)：12610字

內(nèi)容摘要：

非 Transformer 面臨的共同考驗(yàn)依然是證明自己的天花板有多高。作者丨張進(jìn)
編輯丨陳彩嫻
2017年谷歌發(fā)表的論文《Attention Is All You Need》成為當(dāng)下人工智能的一篇，此后席卷全球的人工智能熱潮都可以直接追溯到 Transformer 的發(fā)明。
Transformer 由于其處理局部和長(zhǎng)程依賴關(guān)系的能力以及可并行化訓(xùn)練的特點(diǎn)，一經(jīng)問(wèn)世，逐步取代了過(guò)去的 RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）與 CNN（卷積神經(jīng)網(wǎng)絡(luò)），成為 NLP（自然語(yǔ)言處理）前沿研究的標(biāo)準(zhǔn)范式。
今天主流的 AI 模型和產(chǎn)品——OpenAI 的ChatGPT、谷歌的 Bard、Anthropic 的 Claude，Midjourney、Sora到國(guó)內(nèi)智譜 AI 的 ChatGLM 大模型、百川智能的 Baichuan 大模型、Kimi chat 等等——都是基于Transformer 架構(gòu)。
Transformer 已然代表了當(dāng)今人工智能技術(shù)無(wú)可爭(zhēng)議的黃金標(biāo)準(zhǔn)，其主導(dǎo)地位至今無(wú)人能撼動(dòng)。
在Transformer 大行其道的同時(shí)，出現(xiàn)了一些反對(duì)的聲音，如：“Transformer 的效率并不高”

原文鏈接：誰(shuí)將替代 Transformer？

聯(lián)系作者

文章來(lái)源：AI科技評(píng)論
作者微信：aitechtalk
作者簡(jiǎn)介：雷峰網(wǎng)旗下AI新媒體。聚焦AI前沿研究，關(guān)注AI工程落地。