全球首次!時(shí)序大模型突破十億參數(shù),華人團(tuán)隊(duì)發(fā)布Time-MoE,預(yù)訓(xùn)練數(shù)據(jù)達(dá)3000億個(gè)時(shí)間點(diǎn)

AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:全球首次!時(shí)序大模型突破十億參數(shù),華人團(tuán)隊(duì)發(fā)布Time-MoE,預(yù)訓(xùn)練數(shù)據(jù)達(dá)3000億個(gè)時(shí)間點(diǎn)
關(guān)鍵字:模型,時(shí)序,序列,數(shù)據(jù),領(lǐng)域
文章來源:新智元
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
新智元報(bào)道編輯:LRST 好困
【新智元導(dǎo)讀】Time-MoE采用了創(chuàng)新的混合專家架構(gòu),能以較低的計(jì)算成本實(shí)現(xiàn)高精度預(yù)測。研發(fā)團(tuán)隊(duì)還發(fā)布了Time-300B數(shù)據(jù)集,為時(shí)序分析提供了豐富的訓(xùn)練資源,為各行各業(yè)的時(shí)間序列預(yù)測任務(wù)帶來了新的解決方案。在當(dāng)今以數(shù)據(jù)為驅(qū)動(dòng)的時(shí)代,時(shí)序預(yù)測已成為眾多領(lǐng)域不可或缺的核心組成。然而,構(gòu)建一個(gè)兼具強(qiáng)大性能與高效運(yùn)算的大規(guī)模時(shí)序預(yù)測模型始終是一個(gè)巨大的挑戰(zhàn)。此外,高質(zhì)量的大型公共時(shí)間序列數(shù)據(jù)庫的匱乏進(jìn)一步加劇了這一難題。
近日,由來自普林斯頓大學(xué)、格里菲斯大學(xué)等全球多地的華人國際科研團(tuán)隊(duì)攜手通力合作,創(chuàng)新性地提出了一種基于混合專家架構(gòu)(Mixture of Experts, MoE)的時(shí)間序列基礎(chǔ)模型Time-MoE,首次將時(shí)間序列預(yù)訓(xùn)練大模型的參數(shù)規(guī)模推向十億級(jí)別,在時(shí)序預(yù)測領(lǐng)域?qū)崿F(xiàn)了里程碑式的突破。論文鏈接:https://arxiv.org/pdf/2409.16040
代碼鏈接:https://github.com/Time-MoE/Time-MoE
與此同時(shí),團(tuán)隊(duì)精心整理了預(yù)訓(xùn)練數(shù)據(jù)集Time-300B,這是目前時(shí)序領(lǐng)域最大的公開數(shù)據(jù)集,為各類
聯(lián)系作者
文章來源:新智元
作者微信:
作者簡介:

粵公網(wǎng)安備 44011502001135號(hào)