時序大模型突破十億參數！新混合專家架構，普林斯頓格里菲斯等機構出品

AIGC動態歡迎閱讀

原標題：時序大模型突破十億參數！新混合專家架構，普林斯頓格里菲斯等機構出品
關鍵字：模型,時序,序列,精度,數據
文章來源：量子位
內容字數：0字

內容摘要：

TimeMoE團隊投稿自凹非寺量子位 | 公眾號 QbitAI時序大模型，參數規模突破十億級別。
來自全球多只華人研究團隊提出了一種基于混合專家架構（Mixture of Experts, MoE）的時間序列基礎模型——Time-MoE。
據了解，該模型首次將時間序列預訓練大模型的參數規模推向十億級別。
Time-MoE模型通過MoE架構的獨特優勢，將模型參數成功擴展至24億，不僅顯著提升了預測精度，還在降低計算成本的同時超越了眾多現有模型，全面達到了SOTA（State of the Art）水平。
與此同時，團隊精心整理了預訓練數據集Time-300B，這是目前時序領域最大的公開數據集，為各類時序任務提供了通用解決方案。
十億參數時序大模型這篇文章主要有以下三點技術突破：
強大的混合專家架構：Time-MoE采用稀疏激活機制，在預測任務中僅激活部分網絡節點，這不僅確保了高預測精度，還顯著降低了計算負擔，完美解決了時序大模型在推理階段的計算瓶頸。
靈活的預測范圍：Time-MoE支持任意長度的輸入和輸出范圍，能夠處理從短期到長期的各種時序預測任務，實現了真正的全域時序預測。
全球

原文鏈接：時序大模型突破十億參數！新混合專家架構，普林斯頓格里菲斯等機構出品