清華提出時間序列大模型：面向通用時序分析的生成式Transformer | ICML 2024

AIGC動態(tài)歡迎閱讀

原標(biāo)題：清華提出時間序列大模型：面向通用時序分析的生成式Transformer | ICML 2024
關(guān)鍵字：模型,序列,時序,數(shù)據(jù),領(lǐng)域
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報道編輯：LRST 好困
【新智元導(dǎo)讀】大模型在語言、圖像領(lǐng)域取得了巨大成功，時間序列作為多個行業(yè)的重要數(shù)據(jù)類型，時序領(lǐng)域的大模型構(gòu)建尚處于起步階段。近期，清華大學(xué)的研究團(tuán)隊基于Transformer在大規(guī)模時間序列上進(jìn)行生成式預(yù)訓(xùn)練，獲得了任務(wù)通用的時序分析模型，展現(xiàn)出大模型特有的泛化性與可擴(kuò)展性時間序列提供了數(shù)據(jù)隨時間變化的視角，對于理解復(fù)雜系統(tǒng)、預(yù)測未來變化和制定決策規(guī)劃至關(guān)重要，在金融、氣象、醫(yī)療、供應(yīng)鏈等多個行業(yè)中發(fā)揮著至關(guān)重要的作用。
近年來，基于深度學(xué)習(xí)開發(fā)的模型在時序分析領(lǐng)域取得了突破性進(jìn)展。然而，相較于語言、視覺大模型的蓬勃發(fā)展，現(xiàn)有模型依然面臨若干瓶頸：
（1）泛化性：模型能處理訓(xùn)練時未遇到的新數(shù)據(jù)；或在數(shù)據(jù)稀缺時，根據(jù)有限的訓(xùn)練數(shù)據(jù)快速適配。然而，即便是目前領(lǐng)域前沿的時序模型，在少樣本場景下依然會產(chǎn)生明顯的性能劣化。時序預(yù)測模型PatchTST在不同數(shù)據(jù)稀缺條件下的效果
（2）通用性：小型深度模型訓(xùn)練后僅適合單一任務(wù)和場景，具有固定輸入輸出長度，適配的變量數(shù)等難以泛化的性質(zhì)，難以像大語言模型一樣，適用于各類下游任務(wù)，例如T5，LLaMA和BLOOM等。
（

原文鏈接：清華提出時間序列大模型：面向通用時序分析的生成式Transformer | ICML 2024