大道至簡，濾波器也有大用處

原標題：無需Transformer，簡單濾波器即可提高時間序列預(yù)測精度 | NeurIPS 2024
文章來源：量子位
內(nèi)容字數(shù)：4344字

FilterNet：一種新穎的時間序列預(yù)測模型

在時間序列預(yù)測領(lǐng)域，準確性對于能源、氣象和醫(yī)療等行業(yè)至關(guān)重要。最近，由國家信息中心、牛津大學及國內(nèi)多所高校的團隊提出了一種名為FilterNet的模型，該模型不再依賴復(fù)雜的Transformer結(jié)構(gòu)，而是通過簡單的濾波器來提升預(yù)測精度。FilterNet已被NeurIPS 2024接收，展現(xiàn)了其在時間序列預(yù)測中的潛力。

1. 研究動機

現(xiàn)有的模型架構(gòu)面臨著頻段信息利用的瓶頸。時間序列信號通常由不同頻段的信號組成，團隊通過模擬實驗發(fā)現(xiàn)，現(xiàn)有的iTransformer模型在捕捉頻譜信息方面表現(xiàn)不佳。因此，基于傳統(tǒng)信號處理中的濾波特性，研究團隊設(shè)計了FilterNet，以提高時間序列預(yù)測的性能。

2. FilterNet的核心設(shè)計

FilterNet的設(shè)計極為簡單，其主要組件包括：

• 實例歸一化： 解決了非平穩(wěn)時間序列帶來的分布偏移問題。
• 頻率濾波模塊： 該模塊包含兩種可學習濾波器，Plain Shaping Filter用于信號濾波與時間關(guān)系建模，Contextual Shaping Filter用于學習濾波后頻率與原始輸入信號的依賴關(guān)系。
• 前饋神經(jīng)網(wǎng)絡(luò)： 該網(wǎng)絡(luò)將頻率濾波模塊建模的時間依賴關(guān)系與未來數(shù)據(jù)的關(guān)系結(jié)合，進行預(yù)測與反歸一化。

3. 實驗結(jié)果與性能分析

FilterNet在八個時間序列預(yù)測基準數(shù)據(jù)集上進行了廣泛測試，結(jié)果顯示其在不同場景下均表現(xiàn)優(yōu)越。具體而言：

• 預(yù)測結(jié)果： PaiFilter在小數(shù)據(jù)集上表現(xiàn)更佳，而TexFilter在大數(shù)據(jù)集上則展現(xiàn)出強競爭力。
• 頻率濾波器的可視化： 學習到的濾波器展現(xiàn)出良好的信號處理能力，證明了FilterNet的全頻段處理能力。
• 效率分析： FilterNet在訓練效率上優(yōu)于傳統(tǒng)的Transformer方法，盡管在單個epoch的訓練時間上略遜于DLinear，但整體效果更佳。

4. 結(jié)論與展望

FilterNet的提出為時間序列預(yù)測提供了一種全新的思路。通過將頻率濾波器直接應(yīng)用于預(yù)測任務(wù)，研究團隊展示了其在效果和效率方面的優(yōu)越性。希望未來能有更多研究結(jié)合信號處理技術(shù)與深度學習，進一步提升時間序列建模與預(yù)測的精準度。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破