代碼全開源，支持用戶在自定義數(shù)據(jù)集上微調(diào)

原標(biāo)題：微軟開源視頻Tokenizer新SOTA！顯著優(yōu)于Cosmos Tokenizer和Open-Sora
文章來源：量子位
內(nèi)容字?jǐn)?shù)：6069字

微軟開源高性能視頻Tokenizer：VidTok

近日，微軟亞研院、上海交通大學(xué)和北京大學(xué)的研究人員聯(lián)合發(fā)布了名為VidTok的開源視頻Tokenizer。該模型在連續(xù)和離散Tokenizer，以及不同壓縮率等多種設(shè)定下，均顯著優(yōu)于現(xiàn)有SOTA模型，為視頻生成和世界模型等領(lǐng)域的研究和開發(fā)提供了強大的工具。

1. VidTok：高效的視頻數(shù)據(jù)處理利器

視頻生成模型如Sora和Genie，需要將高維視頻數(shù)據(jù)轉(zhuǎn)換為緊湊的視覺Token進行訓(xùn)練。VidTok作為一種高性能的視頻Tokenizer，能夠高效地完成這一任務(wù)。它在PSNR、SSIM、FVD和LPIPS等指標(biāo)上均表現(xiàn)出色，雷達(dá)圖顯示其性能全面領(lǐng)先于Nvidia Cosmos Tokenizer、Open-Sora和CogVideoX等現(xiàn)有模型。

2. VidTok的關(guān)鍵特性和優(yōu)勢

VidTok支持多種設(shè)定，包括連續(xù)型和離散型Tokenizer、因果型和非因果型模型以及不同的壓縮率。其靈活性和高性能使其能夠適應(yīng)各種應(yīng)用場景。具體來說，VidTok：

1. 支持連續(xù)型Tokenizer的不同視頻壓縮率、隱空間通道數(shù)以及因果和非因果模型。
2. 支持離散型Tokenizer的不同視頻壓縮率、碼本大小以及因果和非因果模型。
3. 采用高效的混合模型架構(gòu)，結(jié)合3D、2D和1D卷積，在降低計算成本的同時保持高重建質(zhì)量。
4. 采用先進的有限標(biāo)量量化（FSQ）技術(shù)，無需顯式學(xué)習(xí)碼本，提高了訓(xùn)練穩(wěn)定性和重建性能。
5. 采用分階段訓(xùn)練策略，將訓(xùn)練時間縮短50%而重建質(zhì)量保持不變。
6. 開源且支持用戶在自定義數(shù)據(jù)集上進行微調(diào)。

3. VidTok的技術(shù)亮點

VidTok的優(yōu)異性能源于其在模型架構(gòu)、量化技術(shù)和訓(xùn)練策略上的創(chuàng)新：

1. 高效的混合模型架構(gòu)：巧妙地結(jié)合3D、2D和1D卷積，解耦空間和時間采樣，在降低計算成本的同時保持高重建質(zhì)量。
2. 先進的量化技術(shù)（FSQ）：無需顯式學(xué)習(xí)碼本，提高訓(xùn)練穩(wěn)定性和重建性能，尤其在離散Tokenizer方面表現(xiàn)突出。
3. 增強的訓(xùn)練策略：分階段訓(xùn)練方法，顯著降低訓(xùn)練時間，同時保持重建質(zhì)量。

4. VidTok的意義和未來

VidTok的開源為視頻生成和世界模型領(lǐng)域提供了重要的工具，特別是在許多領(lǐng)先模型仍為閉源的情況下。其支持微調(diào)的功能也為后續(xù)的應(yīng)用和研究提供了廣闊的空間。研究人員可以輕松地將VidTok應(yīng)用于特定領(lǐng)域的數(shù)據(jù)集，以優(yōu)化模型性能，推動該領(lǐng)域的發(fā)展。

總之，VidTok憑借其高性能、靈活性和易用性，有望成為視頻處理領(lǐng)域的重要工具，為視頻生成、世界模型等人工智能應(yīng)用帶來新的突破。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破