TimesFM 2.0

TimesFM 2.0 – 谷歌研究團(tuán)隊(duì)開源的時(shí)間序列預(yù)測(cè)模型

TimesFM 2.0是谷歌研究團(tuán)隊(duì)推出的一款開源時(shí)間序列預(yù)測(cè)模型，具備卓越的預(yù)測(cè)能力，能夠處理長(zhǎng)達(dá)2048個(gè)時(shí)間點(diǎn)的單變量時(shí)間序列，并支持靈活的預(yù)測(cè)時(shí)間跨度。該模型采用純解碼器架構(gòu)，結(jié)合輸入修補(bǔ)與修補(bǔ)掩碼技術(shù)，確保高效的訓(xùn)練與推理，同時(shí)具備零樣本學(xué)習(xí)的能力。其預(yù)訓(xùn)練數(shù)據(jù)集涵蓋多個(gè)領(lǐng)域，使得模型具備良好的泛化能力，廣泛適用于零售銷量預(yù)測(cè)、金融市場(chǎng)走勢(shì)分析等多種場(chǎng)景。

TimesFM 2.0是什么

TimesFM 2.0是谷歌研究團(tuán)隊(duì)開發(fā)的開源時(shí)間序列預(yù)測(cè)模型，旨在提供強(qiáng)大的預(yù)測(cè)能力，處理單變量時(shí)間序列，支持長(zhǎng)度達(dá)到2048個(gè)時(shí)間點(diǎn)的輸入，并具備靈活的預(yù)測(cè)時(shí)間跨度。通過采用僅解碼器架構(gòu)，結(jié)合輸入修補(bǔ)和修補(bǔ)掩碼技術(shù)，TimesFM 2.0實(shí)現(xiàn)了高效的訓(xùn)練與推理，同時(shí)支持零樣本預(yù)測(cè)。其豐富的預(yù)訓(xùn)練數(shù)據(jù)集來自多個(gè)領(lǐng)域，使其在零售、金融、網(wǎng)站流量預(yù)測(cè)、環(huán)境監(jiān)測(cè)和智能交通等多個(gè)行業(yè)中表現(xiàn)出色，能有效為用戶提供決策支持。

TimesFM 2.0的主要功能

• 卓越的預(yù)測(cè)能力：能夠處理高達(dá)2048個(gè)時(shí)間點(diǎn)的單變量時(shí)間序列預(yù)測(cè)，支持靈活的時(shí)間跨度選擇。
• 靈活的預(yù)測(cè)頻率選擇：用戶可根據(jù)時(shí)間序列的特性，選擇預(yù)測(cè)頻率，從而增強(qiáng)預(yù)測(cè)的適應(yīng)性。
• 實(shí)驗(yàn)性的分位頭預(yù)測(cè)：模型提供了10個(gè)分位頭，用于生成預(yù)測(cè)的不確定性估計(jì)，雖然這些預(yù)測(cè)尚未經(jīng)過校準(zhǔn)。
• 豐富的預(yù)訓(xùn)練數(shù)據(jù)集：整合了多個(gè)數(shù)據(jù)集，包括來自TimesFM 1.0的預(yù)訓(xùn)練集和LOTSA的附加數(shù)據(jù)，涵蓋住宅用電、太陽(yáng)能發(fā)電和交通流量等多個(gè)領(lǐng)域，為模型的訓(xùn)練提供了堅(jiān)實(shí)基礎(chǔ)。
• 零樣本學(xué)習(xí)能力：盡管最大訓(xùn)練上下文長(zhǎng)度為2048，但在實(shí)際應(yīng)用中，模型可以處理更長(zhǎng)的上下文，展現(xiàn)了出色的零樣本學(xué)習(xí)能力。

TimesFM 2.0的技術(shù)原理

• 純解碼器架構(gòu)：該模型采用純解碼器架構(gòu)，能夠高效處理時(shí)間序列數(shù)據(jù)，更好地捕捉長(zhǎng)距離的時(shí)間依賴關(guān)系，適合單向預(yù)測(cè)。
• 時(shí)間序列分塊與位置編碼：模型利用分塊處理時(shí)間序列，并注入位置編碼，通過堆疊的Transformer層提取時(shí)間序列中的時(shí)間順序信息與不同時(shí)間點(diǎn)的關(guān)系。
• 輸入修補(bǔ)與修補(bǔ)掩碼：通過輸入修補(bǔ)和修補(bǔ)掩碼技術(shù)，模型實(shí)現(xiàn)了高效的訓(xùn)練與推理流程，同時(shí)支持零樣本預(yù)測(cè)，提升了訓(xùn)練效率和泛化能力。
• 預(yù)訓(xùn)練過程：在包含1000億個(gè)真實(shí)世界時(shí)間點(diǎn)的大規(guī)模時(shí)間序列語(yǔ)料庫(kù)上進(jìn)行預(yù)訓(xùn)練，涵蓋多個(gè)領(lǐng)域和時(shí)間粒度的數(shù)據(jù)，采用自監(jiān)督學(xué)習(xí)方法預(yù)測(cè)序列中的下一個(gè)時(shí)間點(diǎn)。
• 靈活的輸入處理：支持不同長(zhǎng)度和頻率的時(shí)間序列輸入，能夠適應(yīng)各種實(shí)際應(yīng)用場(chǎng)景，盡管預(yù)訓(xùn)練時(shí)最大上下文長(zhǎng)度為2048，但在實(shí)際應(yīng)用中可擴(kuò)展處理更長(zhǎng)的時(shí)間序列。
• 分位點(diǎn)預(yù)測(cè)的實(shí)驗(yàn)性支持：模型引入了10個(gè)分位頭，支持用戶在單點(diǎn)預(yù)測(cè)的基礎(chǔ)上獲取不同分位數(shù)的預(yù)測(cè)值，為不確定性分析提供了新的可能性。

TimesFM 2.0的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://research.google/blog/a-decoder-only-foundation-model-for-time-series-forecasting/
• Github倉(cāng)庫(kù)：https://github.com/google-research/timesfm
• HuggingFace模型庫(kù)：https://huggingface.co/google/timesfm-2.0
• arXiv技術(shù)論文：https://arxiv.org/pdf/2310.10688

TimesFM 2.0的應(yīng)用場(chǎng)景

• 零售行業(yè)：可用于銷量預(yù)測(cè)，幫助商家優(yōu)化庫(kù)存管理和制定銷售策略。
• 金融市場(chǎng)：能夠預(yù)測(cè)股票走勢(shì)，為投資者的決策提供參考依據(jù)。
• 網(wǎng)站運(yùn)營(yíng)：可預(yù)測(cè)網(wǎng)站流量，助力網(wǎng)站優(yōu)化與資源分配。
• 環(huán)境監(jiān)測(cè)：基于歷史數(shù)據(jù)預(yù)測(cè)環(huán)境變化趨勢(shì)，如空氣質(zhì)量和氣候變化，為環(huán)境保護(hù)和應(yīng)對(duì)措施提供依據(jù)。
• 智能交通：通過交通流量歷史數(shù)據(jù)預(yù)測(cè)未來路況，為城市規(guī)劃和交通信號(hào)優(yōu)化提供參考，幫助高峰時(shí)段管理與減少擁堵。