萬(wàn)相2.1 – 通義萬(wàn)相最新推出的視頻生成模型

萬(wàn)相2.1是阿里巴巴推出的通義萬(wàn)相的最新升級(jí)版，基于自研的高效變分自編碼器（VAE）和擴(kuò)散模型（DiT）架構(gòu)，顯著提升了時(shí)空上下文建模的能力。它不僅支持無(wú)限長(zhǎng)的1080P視頻高效編解碼，還首次實(shí)現(xiàn)了中文文本生成視頻的功能。升級(jí)后的萬(wàn)相2.1在VBench榜單上名列前茅，能夠穩(wěn)定展現(xiàn)復(fù)雜的人物動(dòng)作，并逼真再現(xiàn)現(xiàn)實(shí)物理規(guī)律。同時(shí)，它提供一鍵生成中英文視頻特效的功能，具備強(qiáng)大的影視質(zhì)感與藝術(shù)風(fēng)格轉(zhuǎn)換能力。

萬(wàn)相2.1是什么

萬(wàn)相2.1是阿里巴巴推出的通義萬(wàn)相的升級(jí)版本。它基于自研的高效VAE和DiT架構(gòu)，增強(qiáng)了時(shí)空上下文建模的能力，支持無(wú)限長(zhǎng)的1080P視頻高效編解碼，并首次實(shí)現(xiàn)中文文字生成視頻的功能。經(jīng)過(guò)升級(jí)的萬(wàn)相2.1在VBench榜單中名列第一，能穩(wěn)定展示復(fù)雜的人物肢體，真實(shí)還原物理規(guī)律，同時(shí)支持一鍵生成中英文視頻特效，擁有強(qiáng)大的影視質(zhì)感與藝術(shù)風(fēng)格轉(zhuǎn)換能力。此外，萬(wàn)相2.1還支持根據(jù)文本生成圖像，采用IC-LoRA圖像生成訓(xùn)練方法，提升了文本到圖像的上下文能力，使得生成的圖像與用戶的文本描述緊密相關(guān)。

萬(wàn)相2.1的主要功能

• 視頻生成
  • 復(fù)雜動(dòng)作展現(xiàn)：能夠穩(wěn)定表現(xiàn)各種復(fù)雜的人物動(dòng)作，如旋轉(zhuǎn)、跳躍、轉(zhuǎn)身和翻滾等，使視頻內(nèi)容更加生動(dòng)、真實(shí)。
  • 物理規(guī)律真實(shí)再現(xiàn)：精準(zhǔn)還原真實(shí)世界的物理現(xiàn)象，如碰撞、反彈、切割和擠壓等，增強(qiáng)視頻的真實(shí)感。
  • 中英文視頻特效生成：提供多種特效選項(xiàng)，用戶可以一鍵生成中英文視頻特效，提升視覺表現(xiàn)力。
  • 藝術(shù)風(fēng)格轉(zhuǎn)換：具備強(qiáng)大的藝術(shù)風(fēng)格表現(xiàn)能力，支持一鍵轉(zhuǎn)換視頻的影視質(zhì)感與藝術(shù)風(fēng)格，如電影色調(diào)、印象派風(fēng)格和抽象表現(xiàn)等。
• 圖像生成
  • 分鏡效果還原：還原電影級(jí)別的分鏡效果，確保角色、外貌、動(dòng)作、環(huán)境和燈光等元素連貫一致，將故事情節(jié)與視覺效果完美結(jié)合。
  • 四格漫畫創(chuàng)作：根據(jù)用戶描述的漫畫劇情與風(fēng)格，快速生成四格漫畫，生動(dòng)講述小故事。
  • 創(chuàng)意頭像定制：根據(jù)用戶的喜好與特點(diǎn)，定制專屬的情侶頭像或個(gè)人頭像，提供多種風(fēng)格選擇，滿足不同需求。

萬(wàn)相2.1的技術(shù)原理

• VAE架構(gòu)：變分自編碼器（VAE）作為一種生成模型，通過(guò)編碼器將輸入數(shù)據(jù)映射到潛在空間，再通過(guò)解碼器將其映射回?cái)?shù)據(jù)空間，實(shí)現(xiàn)數(shù)據(jù)生成和重建。
• DiT架構(gòu)：DiT（Diffusion in Time）架構(gòu)基于擴(kuò)散模型，通過(guò)在時(shí)間維度逐步引入噪聲并去除噪聲生成數(shù)據(jù)，能夠有效捕捉視頻的時(shí)空結(jié)構(gòu)，支持高效編解碼和高質(zhì)量視頻生成。
• IC-LoRA：IC-LoRA是一種圖像生成訓(xùn)練方法，通過(guò)結(jié)合圖像內(nèi)容與文本描述，增強(qiáng)文本到圖像的上下文能力，使生成的圖像更符合用戶期待。
• 上下文建模：增強(qiáng)時(shí)空上下文建模能力，使得視頻內(nèi)容的動(dòng)作、場(chǎng)景和風(fēng)格等元素更加自然、協(xié)調(diào)。

萬(wàn)相2.1的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：訪問(wèn)通義萬(wàn)相AI視頻官方網(wǎng)站，開啟創(chuàng)作之旅。

萬(wàn)相2.1的應(yīng)用場(chǎng)景

• 影視制作：為古裝劇生成古代戰(zhàn)爭(zhēng)特效，如千軍萬(wàn)馬的沖鋒、箭雨紛飛等，增強(qiáng)視覺效果。
• 廣告視頻制作：為飲料制作廣告，生成年輕人后的暢飲場(chǎng)景，突顯產(chǎn)品功能。
• 教學(xué)輔助：在歷史課上生成赤壁之戰(zhàn)的模擬視頻，幫助學(xué)生理解歷史。
• 文化創(chuàng)作：制作書法藝術(shù)紀(jì)錄片，展示書法家的創(chuàng)作過(guò)程，展現(xiàn)書法技巧。
• 新聞報(bào)道：針對(duì)交通事故生成模擬視頻，清晰展示事故經(jīng)過(guò)。