清華提出時(shí)間序列大模型：面向通用時(shí)序分析的生成式Transformer | ICML 2024

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：清華提出時(shí)間序列大模型：面向通用時(shí)序分析的生成式Transformer | ICML 2024
關(guān)鍵字：模型,序列,時(shí)序,數(shù)據(jù),領(lǐng)域
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：LRST 好困
【新智元導(dǎo)讀】大模型在語(yǔ)言、圖像領(lǐng)域取得了巨大成功，時(shí)間序列作為多個(gè)行業(yè)的重要數(shù)據(jù)類(lèi)型，時(shí)序領(lǐng)域的大模型構(gòu)建尚處于起步階段。近期，清華大學(xué)的研究團(tuán)隊(duì)基于Transformer在大規(guī)模時(shí)間序列上進(jìn)行生成式預(yù)訓(xùn)練，獲得了任務(wù)通用的時(shí)序分析模型，展現(xiàn)出大模型特有的泛化性與可擴(kuò)展性時(shí)間序列提供了數(shù)據(jù)隨時(shí)間變化的視角，對(duì)于理解復(fù)雜系統(tǒng)、預(yù)測(cè)未來(lái)變化和制定決策規(guī)劃至關(guān)重要，在金融、氣象、醫(yī)療、供應(yīng)鏈等多個(gè)行業(yè)中發(fā)揮著至關(guān)重要的作用。
近年來(lái)，基于深度學(xué)習(xí)開(kāi)發(fā)的模型在時(shí)序分析領(lǐng)域取得了突破性進(jìn)展。然而，相較于語(yǔ)言、視覺(jué)大模型的蓬勃發(fā)展，現(xiàn)有模型依然面臨若干瓶頸：
（1）泛化性：模型能處理訓(xùn)練時(shí)未遇到的新數(shù)據(jù)；或在數(shù)據(jù)稀缺時(shí)，根據(jù)有限的訓(xùn)練數(shù)據(jù)快速適配。然而，即便是目前領(lǐng)域前沿的時(shí)序模型，在少樣本場(chǎng)景下依然會(huì)產(chǎn)生明顯的性能劣化。時(shí)序預(yù)測(cè)模型PatchTST在不同數(shù)據(jù)稀缺條件下的效果
（2）通用性：小型深度模型訓(xùn)練后僅適合單一任務(wù)和場(chǎng)景，具有固定輸入輸出長(zhǎng)度，適配的變量數(shù)等難以泛化的性質(zhì)，難以像大語(yǔ)言模型一樣，適用于各類(lèi)下游任務(wù)，例如T5，LLaMA和BLOOM等。
（

原文鏈接：清華提出時(shí)間序列大模型：面向通用時(shí)序分析的生成式Transformer | ICML 2024

聯(lián)系作者

文章來(lái)源：新智元
作者微信：
作者簡(jiǎn)介：