顛覆傳統(tǒng)：新型FAN神經(jīng)網(wǎng)絡如何用傅里葉分析Transformer的瓶頸

難點在于，如何實現(xiàn)“既要又要還要”。

原標題：獨家專訪新型神經(jīng)網(wǎng)絡FAN作者：用傅里葉分析彌補Transformer重要缺陷｜甲子光年
文章來源：甲子光年
內(nèi)容字數(shù)：11468字

1. 引言

2017年，Google團隊發(fā)表的論文《Attention Is All You Need》引入了Transformer架構(gòu)，徹底改變了自然語言處理（NLP）領域。然而，Transformer在周期性特征建模上存在明顯缺陷，無法有效捕捉周期性現(xiàn)象的本質(zhì)。本文圍繞北京大學李戈教授團隊提出的FAN（傅里葉分析網(wǎng)絡）展開，探討其在周期性建模中的優(yōu)勢及應用。

2. 周期性建模的重要性

周期性現(xiàn)象廣泛存在于自然科學和人類社會中，如天文學的行星和生物學的晝夜節(jié)律。有效建模這些周期性特征對許多實際任務至關重要。然而，現(xiàn)有的基礎模型如MLP和Transformer在理解這些現(xiàn)象時表現(xiàn)不佳，甚至在外推時失控。

3. FAN的創(chuàng)新之處

FAN通過引入傅里葉原理，將周期性信息嵌入網(wǎng)絡結(jié)構(gòu)。其核心結(jié)構(gòu)FAN Layer能夠高效地捕捉周期性特征，同時保持其他能力不受影響。FAN在參數(shù)和計算需求上均優(yōu)于傳統(tǒng)模型，特別是在周期性建模和實際任務應用中展現(xiàn)了顯著優(yōu)勢。

4. FAN的性能評估

實驗表明，F(xiàn)AN在周期性建模和實際任務（如時間序列預測和語言建模）中優(yōu)于現(xiàn)有模型。尤其在處理周期性數(shù)據(jù)時，F(xiàn)AN能夠提供有效的助力，顯著提升性能。整合FAN的改良Transformer模型在多項任務中同樣表現(xiàn)出色。

5. 對神經(jīng)網(wǎng)絡理解的轉(zhuǎn)變

FAN不僅增強了對周期性特征的建模能力，還簡化了模型的參數(shù)和計算需求。它為基礎模型提供了一種新的范式，強調(diào)了當前模型在周期性建模方面的潛在缺陷。

6. 未來研究方向

未來，F(xiàn)AN的研究將集中于優(yōu)化與現(xiàn)有模型的結(jié)合方式、提升參數(shù)規(guī)模以及拓展應用范圍。研究者們希望進一步驗證FAN在更大參數(shù)規(guī)模的LLM中的表現(xiàn)，并探索其在圖像識別等領域的應用潛力。

7. 結(jié)論

FAN的提出為周期性建模提供了有效的解決方案，可能在AI發(fā)展中扮演重要角色。研究團隊期待FAN能夠激發(fā)更多研究者的探索與創(chuàng)新，推動人工智能技術的進一步發(fā)展。

聯(lián)系作者

文章來源：甲子光年
作者微信：
作者簡介：甲子光年是一家科技智庫，包含智庫、社群、企業(yè)服務版塊，立足中國科技創(chuàng)新前沿陣地，動態(tài)跟蹤頭部科技企業(yè)發(fā)展和傳統(tǒng)產(chǎn)業(yè)技術升級案例，推動人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、云計算、新能源、新材料、信息安全、大健康等科技創(chuàng)新在產(chǎn)業(yè)中的應用與落地。