AIGC動態歡迎閱讀

原標題：獨家專訪新型神經網絡FAN作者：用傅里葉分析彌補Transformer重要缺陷｜甲子光年
關鍵字：周期性,建模,模型,甲子,神經網絡
文章來源：甲子光年
內容字數：0字

內容摘要：

難點在于，如何實現“既要又要還要”。作者｜蘇霍伊
編輯｜王博
2017年，Google團隊發表了一篇文章《Attention Is All You Need》。
這篇開創性的論文介紹了基于Transformer的深度學習架構。Transformer徹底改變了自然語言處理（NLP）領域，它的自注意力機制也被廣泛應用于計算機視覺等其他領域，并對AI研究產生了深遠影響，成為了AI發展史上的一個里程碑。截至今天，這篇論文的被引用次數已超過14萬次。
如果說ChatGPT是席卷AI行業的一場“風暴”，那么Transformer就是“扇動翅膀”的那只蝴蝶。
但Transformer架構并不完美。《Attention Is All You Need》論文作者之一、Cohere聯合創始人&CEO Aidan Gomez今年3月的英偉達GTC大會上說出了一句意味深長的話：“我們希望這個世界可以創造出比Transformer更好的東西。”
周期性特征的外推性困難就是Transformer的重要缺陷之一。
周期性是指某些現象或函數在規律的間隔內重復出現的特性，是最重要的基本特性之一。周期性現象廣泛存在，例如

原文鏈接：獨家專訪新型神經網絡FAN作者：用傅里葉分析彌補Transformer重要缺陷｜甲子光年

聯系作者

文章來源：甲子光年
作者微信：
作者簡介：