VidTok – 微軟開源的視頻分詞器，支持連續(xù)和離散分詞化

VidTok是什么

VidTok（視頻分詞器）是微軟推出的開源視頻處理工具，旨在通過高效的算法將視頻內(nèi)容轉(zhuǎn)化為一系列精簡的“視頻詞”。該工具支持連續(xù)和離散的分詞方式，并可根據(jù)需求靈活調(diào)整壓縮率和隱空間，適用于多種應(yīng)用場景。VidTok采用了創(chuàng)新的混合模型架構(gòu)，結(jié)合了卷積層和上下采樣模塊，旨在降低計算復(fù)雜性，同時保持高質(zhì)量的重建效果。此外，VidTok還引入了先進的有限標量量化技術(shù)，有效解決了傳統(tǒng)向量量化中常見的訓練不穩(wěn)定和碼本崩潰問題。

VidTok的主要功能

• 視頻分詞化：VidTok能夠?qū)⒃嫉母呔S視頻數(shù)據(jù)（如圖像和視頻幀）轉(zhuǎn)換為更為緊湊的視覺Token。
• 高效壓縮：在不同的壓縮率設(shè)定下，VidTok能夠有效壓縮視頻數(shù)據(jù)，同時保持較高的視頻質(zhì)量。
• 連續(xù)和離散分詞化：VidTok支持連續(xù)和離散兩種分詞方法，以適應(yīng)不同的模型和應(yīng)用需求。
• 因果和非因果模型支持：VidTok支持因果型和非因果型模型，前者依賴歷史幀進行Tokenization，后者則利用歷史幀和未來幀的信息。
• 多樣化的隱空間支持：VidTok提供了不同大小的隱空間，以滿足不同的視頻壓縮率和模型復(fù)雜度的需求。
• 高性能重建：在多個視頻質(zhì)量評估指標上，VidTok展現(xiàn)出卓越的表現(xiàn)，包括PSNR、SSIM、FVD和LPIPS，確保高質(zhì)量的視頻重建。

VidTok的技術(shù)原理

• 高效的混合模型架構(gòu)設(shè)計：VidTok采用經(jīng)典的3D編碼器-解碼器結(jié)構(gòu)，并結(jié)合了3D、2D及1D卷積，有效解耦空間和時間的采樣。
• 先進的量化技術(shù)：VidTok引入有限標量量化（FSQ）技術(shù)，這是一種無需顯式學習碼本的量化方法，顯著提升了模型的訓練穩(wěn)定性與重建性能。
• 增強的訓練策略：VidTok采用分階段訓練策略，首先在低分辨率視頻上進行完整模型的預(yù)訓練，再在高分辨率視頻上微調(diào)解碼器。

VidTok的項目地址

• Github倉庫：https://github.com/microsoft/vidtok
• HuggingFace模型庫：https://huggingface.co/microsoft/VidTok
• arXiv技術(shù)論文：https://arxiv.org/pdf/2412.13061

VidTok的應(yīng)用場景

• 視頻生成：VidTok可以被應(yīng)用于視頻生成模型，例如Sora和Genie，通過Tokenizer將原始高維視頻數(shù)據(jù)轉(zhuǎn)化為緊湊的視覺Token，從而訓練生成模型。
• 視頻內(nèi)容高效建模：在人工智能領(lǐng)域，視頻生成和基于視頻的世界模型成為熱門研究方向，VidTok通過高效建模視頻內(nèi)容，為模型理解世界提供了高效的中介。
• 視頻數(shù)據(jù)壓縮和表示：由于視頻的像素級表示信息冗余，VidTok通過高效的壓縮和表示視頻數(shù)據(jù)，降低了模型訓練和推理時的計算需求。

常見問題

• VidTok是否支持所有視頻格式？：VidTok支持多種常見視頻格式，但具體支持的格式可能需要查閱官方文檔。
• 如何安裝VidTok？：用戶可以通過訪問GitHub倉庫獲取安裝指南。
• VidTok的性能如何？：VidTok在多個視頻質(zhì)量評估指標上表現(xiàn)優(yōu)異，適合高質(zhì)量視頻處理需求。