AIGC動態歡迎閱讀
原標題:全面超越Transformer!清華螞蟻推出純MLP架構,長短程時序預測大幅提升
關鍵字:模型,時序,尺度,數據,時間
文章來源:量子位
內容字數:0字
內容摘要:
蔚明 投稿自 凹非寺量子位 | 公眾號 QbitAITransformer很強,Transformer很好,但Transformer在處理時序數據時存在一定的局限性。
如計算復雜度高、對長序列數據處理不夠高效等問題。
而在數據驅動的時代,時序預測成為許多領域中不可或缺的一部分。
于是乎,螞蟻同清華聯合推出一種純MLP架構的模型TimeMixer,在時序預測上的性能和效能兩方面全面超越了Transformer模型。
他們結合對時序趨勢周期特性的分解以及多尺度混合的設計模式,不僅在長短程預測性能上大幅提升,而且基于純MLP架構實現了接近于線性模型的極高效率。
來康康是如何做到的?
純MLP架構超越TransformerTimeMixer模型采用了一個多尺度混合架構,旨在解決時間序列預測中的復雜時間變化問題。
該模型主要采用全MLP(多層感知機)架構,由過去可分解混合Past Decomposable Mixing (PDM) 和未來多預測器混合Future Multipredictor Mixing (FMM) 兩大塊構成,能夠有效利用多尺度序列信息。
其中PDM模塊,負責提取過去的信息并
原文鏈接:全面超越Transformer!清華螞蟻推出純MLP架構,長短程時序預測大幅提升
聯系作者
文章來源:量子位
作者微信:QbitAI
作者簡介:追蹤人工智能新趨勢,關注科技行業新突破
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...