全面超越Transformer！清華螞蟻推出純MLP架構(gòu)，長(zhǎng)短程時(shí)序預(yù)測(cè)大幅提升

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：全面超越Transformer！清華螞蟻推出純MLP架構(gòu)，長(zhǎng)短程時(shí)序預(yù)測(cè)大幅提升
關(guān)鍵字：模型,時(shí)序,尺度,數(shù)據(jù),時(shí)間
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

蔚明投稿自凹非寺量子位 | 公眾號(hào) QbitAITransformer很強(qiáng)，Transformer很好，但Transformer在處理時(shí)序數(shù)據(jù)時(shí)存在一定的局限性。
如計(jì)算復(fù)雜度高、對(duì)長(zhǎng)序列數(shù)據(jù)處理不夠高效等問(wèn)題。
而在數(shù)據(jù)驅(qū)動(dòng)的時(shí)代，時(shí)序預(yù)測(cè)成為許多領(lǐng)域中不可或缺的一部分。
于是乎，螞蟻同清華聯(lián)合推出一種純MLP架構(gòu)的模型TimeMixer，在時(shí)序預(yù)測(cè)上的性能和效能兩方面全面超越了Transformer模型。
他們結(jié)合對(duì)時(shí)序趨勢(shì)周期特性的分解以及多尺度混合的設(shè)計(jì)模式，不僅在長(zhǎng)短程預(yù)測(cè)性能上大幅提升，而且基于純MLP架構(gòu)實(shí)現(xiàn)了接近于線性模型的極高效率。
來(lái)康康是如何做到的？
純MLP架構(gòu)超越TransformerTimeMixer模型采用了一個(gè)多尺度混合架構(gòu)，旨在解決時(shí)間序列預(yù)測(cè)中的復(fù)雜時(shí)間變化問(wèn)題。
該模型主要采用全MLP（多層感知機(jī)）架構(gòu)，由過(guò)去可分解混合Past Decomposable Mixing (PDM) 和未來(lái)多預(yù)測(cè)器混合Future Multipredictor Mixing (FMM) 兩大塊構(gòu)成，能夠有效利用多尺度序列信息。
其中PDM模塊，負(fù)責(zé)提取過(guò)去的信息并

原文鏈接：全面超越Transformer！清華螞蟻推出純MLP架構(gòu)，長(zhǎng)短程時(shí)序預(yù)測(cè)大幅提升