AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：獨(dú)家專訪新型神經(jīng)網(wǎng)絡(luò)FAN作者：用傅里葉分析彌補(bǔ)Transformer重要缺陷｜甲子光年
關(guān)鍵字：周期性,建模,模型,甲子,神經(jīng)網(wǎng)絡(luò)
文章來(lái)源：甲子光年
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

難點(diǎn)在于，如何實(shí)現(xiàn)“既要又要還要”。作者｜蘇霍伊
編輯｜王博
2017年，Google團(tuán)隊(duì)發(fā)表了一篇文章《Attention Is All You Need》。
這篇開(kāi)創(chuàng)性的論文介紹了基于Transformer的深度學(xué)習(xí)架構(gòu)。Transformer徹底改變了自然語(yǔ)言處理（NLP）領(lǐng)域，它的自注意力機(jī)制也被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)等其他領(lǐng)域，并對(duì)AI研究產(chǎn)生了深遠(yuǎn)影響，成為了AI發(fā)展史上的一個(gè)里程碑。截至今天，這篇論文的被引用次數(shù)已超過(guò)14萬(wàn)次。
如果說(shuō)ChatGPT是席卷AI行業(yè)的一場(chǎng)“風(fēng)暴”，那么Transformer就是“扇動(dòng)翅膀”的那只蝴蝶。
但Transformer架構(gòu)并不完美。《Attention Is All You Need》論文作者之一、Cohere聯(lián)合創(chuàng)始人&CEO Aidan Gomez今年3月的英偉達(dá)GTC大會(huì)上說(shuō)出了一句意味深長(zhǎng)的話：“我們希望這個(gè)世界可以創(chuàng)造出比Transformer更好的東西。”
周期性特征的外推性困難就是Transformer的重要缺陷之一。
周期性是指某些現(xiàn)象或函數(shù)在規(guī)律的間隔內(nèi)重復(fù)出現(xiàn)的特性，是最重要的基本特性之一。周期性現(xiàn)象廣泛存在，例如

原文鏈接：獨(dú)家專訪新型神經(jīng)網(wǎng)絡(luò)FAN作者：用傅里葉分析彌補(bǔ)Transformer重要缺陷｜甲子光年

聯(lián)系作者

文章來(lái)源：甲子光年
作者微信：
作者簡(jiǎn)介：