原標題：揭示Transformer「周期建模」缺陷！北大提出新型神經網絡FAN，填補周期性特征建模能力缺陷
文章來源：新智元
內容字數：6365字

北京大學研究團隊開發FAN模型的創新

北京大學的研究團隊在周期性建模領域取得了重要進展，提出了一種新型網絡架構FAN（Fourier Analysis Networks）。該模型通過引入傅里葉級數的思想，能夠有效捕捉數據中的周期性模式，展現出優于傳統模型的性能，尤其在參數量和計算量上具有明顯優勢。

周期性現象的廣泛存在

周期性現象普遍存在于自然科學和人類社會中，如天文學的行星、氣象學的季節變化等。傳統的基礎模型（如MLP和Transformer）在處理周期性建模時存在不足，常常無法有效理解數據中的周期性規律。FAN模型的提出正是為了解決這一問題，提升周期性建模的效果。

FAN模型的核心設計

FAN模型通過將周期性信息直接嵌入網絡結構中，利用深度學習的優勢來增強周期性建模能力。研究團隊設計了FAN層，使得模型在學習過程中能夠更好地利用傅里葉系數，確保中間層特征可用于周期性建模。與傳統模型相比，FAN在周期性建模的表現上展現出更高的準確性。

實驗結果與應用潛力

實驗結果顯示，FAN在多個周期性建模任務中明顯優于其他基線模型，如MLP、KAN和Transformer。FAN在訓練和測試損失上的表現均優于這些模型，特別是在時間序列預測和語言建模等實際應用中，結合FAN的Transformer在性能上顯著提升。研究團隊還發現，FAN對非周期性函數的擬合能力同樣出色，顯示出其在更廣泛任務中的應用潛力。

未來展望

FAN不僅在周期性建模上取得突破，也為基礎模型的技術進步提供了新的思路。研究團隊計劃進一步拓展FAN的應用范圍，加強其在基礎模型組件中的表現，推動人工智能領域的創新與發展。

聯系作者

文章來源：新智元
作者微信：
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。