AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：全球首次！時(shí)序大模型突破十億參數(shù)，華人團(tuán)隊(duì)發(fā)布Time-MoE，預(yù)訓(xùn)練數(shù)據(jù)達(dá)3000億個(gè)時(shí)間點(diǎn)
關(guān)鍵字：模型,時(shí)序,序列,數(shù)據(jù),領(lǐng)域
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：LRST 好困
【新智元導(dǎo)讀】Time-MoE采用了創(chuàng)新的混合專家架構(gòu)，能以較低的計(jì)算成本實(shí)現(xiàn)高精度預(yù)測。研發(fā)團(tuán)隊(duì)還發(fā)布了Time-300B數(shù)據(jù)集，為時(shí)序分析提供了豐富的訓(xùn)練資源，為各行各業(yè)的時(shí)間序列預(yù)測任務(wù)帶來了新的解決方案。在當(dāng)今以數(shù)據(jù)為驅(qū)動(dòng)的時(shí)代，時(shí)序預(yù)測已成為眾多領(lǐng)域不可或缺的核心組成。然而，構(gòu)建一個(gè)兼具強(qiáng)大性能與高效運(yùn)算的大規(guī)模時(shí)序預(yù)測模型始終是一個(gè)巨大的挑戰(zhàn)。此外，高質(zhì)量的大型公共時(shí)間序列數(shù)據(jù)庫的匱乏進(jìn)一步加劇了這一難題。
近日，由來自普林斯頓大學(xué)、格里菲斯大學(xué)等全球多地的華人國際科研團(tuán)隊(duì)攜手通力合作，創(chuàng)新性地提出了一種基于混合專家架構(gòu)（Mixture of Experts, MoE）的時(shí)間序列基礎(chǔ)模型Time-MoE，首次將時(shí)間序列預(yù)訓(xùn)練大模型的參數(shù)規(guī)模推向十億級(jí)別，在時(shí)序預(yù)測領(lǐng)域?qū)崿F(xiàn)了里程碑式的突破。論文鏈接：https://arxiv.org/pdf/2409.16040
代碼鏈接：https://github.com/Time-MoE/Time-MoE
與此同時(shí)，團(tuán)隊(duì)精心整理了預(yù)訓(xùn)練數(shù)據(jù)集Time-300B，這是目前時(shí)序領(lǐng)域最大的公開數(shù)據(jù)集，為各類

原文鏈接：全球首次！時(shí)序大模型突破十億參數(shù)，華人團(tuán)隊(duì)發(fā)布Time-MoE，預(yù)訓(xùn)練數(shù)據(jù)達(dá)3000億個(gè)時(shí)間點(diǎn)

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡介：