Waver 1.0 – 字節(jié)跳動(dòng)推出的AI視頻生成模型

核心觀點(diǎn)： Waver 1.0是字節(jié)跳動(dòng)推出的新一代視頻生成模型，基于修正流Transformer架構(gòu)，支持文生視頻、圖生視頻、文生圖一體化生成，可達(dá)1080p分辨率，擅長捕捉復(fù)雜，在幅度和時(shí)間一致性上表現(xiàn)卓越，性能超越現(xiàn)有模型，并支持多種藝術(shù)風(fēng)格。

Waver 1.0：革新視頻生成體驗(yàn)

字節(jié)跳動(dòng)匠心打造的Waver 1.0，作為一款劃時(shí)代的新一代視頻生成模型，以其強(qiáng)大的修正流Transformer架構(gòu)，徹底顛覆了視頻創(chuàng)作的傳統(tǒng)模式。它將文本到視頻（T2V）、圖像到視頻（I2V）以及文本到圖像（T2I）的生成能力巧妙地整合于一個(gè)統(tǒng)一的框架之下，用戶無需在不同模型間切換，即可一站式完成創(chuàng)意構(gòu)想。Waver 1.0支持高達(dá)1080p的超高清分辨率，并能生成2至10秒的靈活視頻長度，尤其在捕捉復(fù)雜方面表現(xiàn)出類拔萃，其生成的視頻在的幅度和時(shí)間上的連貫性均達(dá)到了行業(yè)領(lǐng)先水平。

Waver 1.0的核心優(yōu)勢

• 全能一體化創(chuàng)作： 告別模型切換的繁瑣，Waver 1.0集文本到視頻、圖像到視頻及文本到圖像生成于一身，實(shí)現(xiàn)無縫創(chuàng)作流程。
• 高清視界，隨心定制： 最高支持1080p分辨率，2至10秒的視頻時(shí)長可靈活調(diào)控，分辨率和畫面比例亦可設(shè)定，滿足多樣化需求。
• 精妙刻畫： 深入理解并重現(xiàn)復(fù)雜軌跡，確保視頻畫面在動(dòng)態(tài)表現(xiàn)力和時(shí)間軸的連貫性上均有出色呈現(xiàn)。
• 敘事連貫，風(fēng)格統(tǒng)一： 能夠生成多鏡頭銜接自然、內(nèi)容連貫的敘事視頻，保證核心主題、視覺風(fēng)格和整體氛圍的高度一致性。
• 風(fēng)格百變，創(chuàng)意無限： 從極致寫實(shí)到生動(dòng)動(dòng)畫，從趣味粘土到柔軟毛絨，Waver 1.0駕馭多種藝術(shù)風(fēng)格，為創(chuàng)意注入無限可能。
• 性能標(biāo)桿，引領(lǐng)未來： 在Waver-Bench 1.0和Hermes測試集等權(quán)威評測中，Waver 1.0的綜合表現(xiàn)均超越了當(dāng)前市面上主流的開源及閉源模型。
• 真實(shí)感升級，偽影告別： 運(yùn)用APG（Adaptive Parallel Guidance）技術(shù)，有效減少生成視頻中的瑕疵，顯著提升畫面的真實(shí)感。
• 精細(xì)化訓(xùn)練，動(dòng)感優(yōu)化： 通過低分辨率視頻的精細(xì)化訓(xùn)練，逐步提升分辨率，從而深度優(yōu)化了生成的能力。
• 智能提示，效果提升： 借助精巧的提示標(biāo)簽機(jī)制，能夠精準(zhǔn)區(qū)分和應(yīng)用不同類型的訓(xùn)練數(shù)據(jù)，進(jìn)一步優(yōu)化生成效果。

Waver 1.0的技術(shù)深度解析

• 先進(jìn)模型架構(gòu)： Waver 1.0采用了創(chuàng)新的混合流DiT（Hybrid Stream DiT）架構(gòu)。它借助Wan-VAE技術(shù)提取視頻的壓縮潛在變量，利用flan-t5-xxl和Qwen2.5-32B-Instruct模型進(jìn)行文本特征提取，并以修正流Transformer為核心構(gòu)建DiT模型。視頻與文本信息通過雙流與單流的融合方式實(shí)現(xiàn)高效整合。
• 1080p高清生成引擎： Waver-Refiner部分采用DiT架構(gòu)，并運(yùn)用流匹配方法進(jìn)行訓(xùn)練。具體而言，它首先將低分辨率視頻（480p或720p）上采樣至1080p，然后添加噪聲，再以含噪聲的低分辨率視頻作為輸入，最終輸出高質(zhì)量的1080p視頻。通過引入窗口注意力機(jī)制，顯著縮短了推理步驟，從而大幅提升了推理速度。
• 卓越訓(xùn)練策略： 為了實(shí)現(xiàn)對的精準(zhǔn)捕捉，Waver 1.0的訓(xùn)練過程將重點(diǎn)放在低分辨率視頻上。模型投入了大量的計(jì)算資源，在192p分辨率的視頻上進(jìn)行深度訓(xùn)練，隨后逐步提高分辨率至480p和720p。訓(xùn)練過程中遵循SD3的流匹配訓(xùn)練設(shè)置，并且在480p和720p視頻訓(xùn)練時(shí)，逐步調(diào)整sigma shift值，以達(dá)到最佳效果。
• 智能提示標(biāo)簽應(yīng)用： Waver 1.0巧妙運(yùn)用提示標(biāo)簽來區(qū)分和管理不同類型的訓(xùn)練數(shù)據(jù)，為訓(xùn)練數(shù)據(jù)分配相應(yīng)的風(fēng)格和質(zhì)量標(biāo)簽。在訓(xùn)練階段，描述視頻風(fēng)格的提示被添加到標(biāo)題的前面，而描述視頻質(zhì)量的提示則被置于訓(xùn)練標(biāo)題的末尾。在推理階段，為了避免生成低質(zhì)量內(nèi)容，會(huì)將諸如“低清晰度”或“慢動(dòng)作”等負(fù)面描述性提示納入負(fù)面提示（negative prompt）中。
• 推理優(yōu)化技術(shù)： 將APG技術(shù)（Adaptive Parallel Guidance）引入視頻生成領(lǐng)域，旨在提升視頻的真實(shí)感并減少偽影。APG通過將CFG（Classifier-Free Guidance）中的更新項(xiàng)分解為平行和正交分量，并調(diào)低平行分量的權(quán)重，從而在保證生成質(zhì)量的同時(shí)，有效避免了畫面過度飽和的問題。

Waver 1.0的廣闊應(yīng)用前景

• 內(nèi)容創(chuàng)作的革新者： 從故事腳本到品牌廣告，再到精彩短劇，Waver 1.0能將文字創(chuàng)意轉(zhuǎn)化為栩栩如生的視頻內(nèi)容，為內(nèi)容創(chuàng)作者提供強(qiáng)大助力。
• 產(chǎn)品展示的動(dòng)態(tài)化： 將靜態(tài)產(chǎn)品圖片轉(zhuǎn)化為引人入勝的動(dòng)態(tài)展示視頻，極大地豐富了電商直播、產(chǎn)品介紹及虛擬試穿等場景的視覺體驗(yàn)。
• 教育培訓(xùn)的互動(dòng)升級： 把枯燥的教學(xué)內(nèi)容或培訓(xùn)文檔轉(zhuǎn)化為生動(dòng)有趣的互動(dòng)視頻，顯著提升學(xué)習(xí)的吸引力和效果。
• 社交媒體的創(chuàng)意利器： 快速生成符合社交媒體傳播特點(diǎn)的視頻內(nèi)容，有效吸引用戶目光，提升互動(dòng)參與度。
• 動(dòng)畫制作的效率提升： 將靜態(tài)圖像轉(zhuǎn)化為富有動(dòng)感的動(dòng)畫，為動(dòng)畫制作、角色驅(qū)動(dòng)以及特效設(shè)計(jì)提供了更高效的解決方案。
• 游戲開發(fā)的沉浸式體驗(yàn)： 為游戲場景和角色生成逼真的動(dòng)態(tài)動(dòng)畫，極大地增強(qiáng)了游戲的沉浸感和玩家的代入感。