AIGC動態歡迎閱讀

原標題：清華提出時間序列大模型：面向通用時序分析的生成式Transformer | ICML 2024
關鍵字：模型,序列,時序,數據,領域
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：LRST 好困
【新智元導讀】大模型在語言、圖像領域取得了巨大成功，時間序列作為多個行業的重要數據類型，時序領域的大模型構建尚處于起步階段。近期，清華大學的研究團隊基于Transformer在大規模時間序列上進行生成式預訓練，獲得了任務通用的時序分析模型，展現出大模型特有的泛化性與可擴展性時間序列提供了數據隨時間變化的視角，對于理解復雜系統、預測未來變化和制定決策規劃至關重要，在金融、氣象、醫療、供應鏈等多個行業中發揮著至關重要的作用。
近年來，基于深度學習開發的模型在時序分析領域取得了突破性進展。然而，相較于語言、視覺大模型的蓬勃發展，現有模型依然面臨若干瓶頸：
（1）泛化性：模型能處理訓練時未遇到的新數據；或在數據稀缺時，根據有限的訓練數據快速適配。然而，即便是目前領域前沿的時序模型，在少樣本場景下依然會產生明顯的性能劣化。時序預測模型PatchTST在不同數據稀缺條件下的效果
（2）通用性：小型深度模型訓練后僅適合單一任務和場景，具有固定輸入輸出長度，適配的變量數等難以泛化的性質，難以像大語言模型一樣，適用于各類下游任務，例如T5，LLaMA和BLOOM等。
（

原文鏈接：清華提出時間序列大模型：面向通用時序分析的生成式Transformer | ICML 2024

聯系作者

文章來源：新智元
作者微信：
作者簡介：