全面超越Transformer！清華螞蟻推出純MLP架構(gòu)，長短程時(shí)序預(yù)測大幅提升

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：全面超越Transformer！清華螞蟻推出純MLP架構(gòu)，長短程時(shí)序預(yù)測大幅提升
關(guān)鍵字：模型,時(shí)序,尺度,數(shù)據(jù),時(shí)間
文章來源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

蔚明 投稿自 凹非寺量子位 | 公眾號 QbitAITransformer很強(qiáng)，Transformer很好，但Transformer在處理時(shí)序數(shù)據(jù)時(shí)存在一定的局限性。
如計(jì)算復(fù)雜度高、對長序列數(shù)據(jù)處理不夠高效等問題。
而在數(shù)據(jù)驅(qū)動(dòng)的時(shí)代，時(shí)序預(yù)測成為許多領(lǐng)域中不可或缺的一部分。
于是乎，螞蟻同清華聯(lián)合推出一種純MLP架構(gòu)的模型TimeMixer，在時(shí)序預(yù)測上的性能和效能兩方面全面超越了Transformer模型。
他們結(jié)合對時(shí)序趨勢周期特性的分解以及多尺度混合的設(shè)計(jì)模式，不僅在長短程預(yù)測性能上大幅提升，而且基于純MLP架構(gòu)實(shí)現(xiàn)了接近于線性模型的極高效率。
來康康是如何做到的？
純MLP架構(gòu)超越TransformerTimeMixer模型采用了一個(gè)多尺度混合架構(gòu)，旨在解決時(shí)間序列預(yù)測中的復(fù)雜時(shí)間變化問題。
該模型主要采用全MLP（多層感知機(jī)）架構(gòu)，由過去可分解混合Past Decomposable Mixing (PDM) 和未來多預(yù)測器混合Future Multipredictor Mixing (FMM) 兩大塊構(gòu)成，能夠有效利用多尺度序列信息。
其中PDM模塊，負(fù)責(zé)提取過去的信息并

原文鏈接：全面超越Transformer！清華螞蟻推出純MLP架構(gòu)，長短程時(shí)序預(yù)測大幅提升

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破