<nav id="444oc"></nav>

萬相2.1

AI工具4個月前發(fā)布 AI工具集

1,297 0 0

萬相2.1 – 通義萬相最新推出的視頻生成模型

萬相2.1是阿里巴巴推出的通義萬相的最新升級版，基于自研的高效變分自編碼器（VAE）和擴(kuò)散模型（DiT）架構(gòu)，顯著提升了時空上下文建模的能力。它不僅支持無限長的1080P視頻高效編解碼，還首次實(shí)現(xiàn)了中文文本生成視頻的功能。升級后的萬相2.1在VBench榜單上名列前茅，能夠穩(wěn)定展現(xiàn)復(fù)雜的人物動作，并逼真再現(xiàn)現(xiàn)實(shí)物理規(guī)律。同時，它提供一鍵生成中英文視頻特效的功能，具備強(qiáng)大的影視質(zhì)感與藝術(shù)風(fēng)格轉(zhuǎn)換能力。

萬相2.1是什么

萬相2.1是阿里巴巴推出的通義萬相的升級版本。它基于自研的高效VAE和DiT架構(gòu)，增強(qiáng)了時空上下文建模的能力，支持無限長的1080P視頻高效編解碼，并首次實(shí)現(xiàn)中文文字生成視頻的功能。經(jīng)過升級的萬相2.1在VBench榜單中名列第一，能穩(wěn)定展示復(fù)雜的人物肢體，真實(shí)還原物理規(guī)律，同時支持一鍵生成中英文視頻特效，擁有強(qiáng)大的影視質(zhì)感與藝術(shù)風(fēng)格轉(zhuǎn)換能力。此外，萬相2.1還支持根據(jù)文本生成圖像，采用IC-LoRA圖像生成訓(xùn)練方法，提升了文本到圖像的上下文能力，使得生成的圖像與用戶的文本描述緊密相關(guān)。

萬相2.1

萬相2.1的主要功能

視頻生成
- 復(fù)雜動作展現(xiàn)：能夠穩(wěn)定表現(xiàn)各種復(fù)雜的人物動作，如旋轉(zhuǎn)、跳躍、轉(zhuǎn)身和翻滾等，使視頻內(nèi)容更加生動、真實(shí)。
- 物理規(guī)律真實(shí)再現(xiàn)：精準(zhǔn)還原真實(shí)世界的物理現(xiàn)象，如碰撞、反彈、切割和擠壓等，增強(qiáng)視頻的真實(shí)感。
- 中英文視頻特效生成：提供多種特效選項(xiàng)，用戶可以一鍵生成中英文視頻特效，提升視覺表現(xiàn)力。
- 藝術(shù)風(fēng)格轉(zhuǎn)換：具備強(qiáng)大的藝術(shù)風(fēng)格表現(xiàn)能力，支持一鍵轉(zhuǎn)換視頻的影視質(zhì)感與藝術(shù)風(fēng)格，如電影色調(diào)、印象派風(fēng)格和抽象表現(xiàn)等。
圖像生成
- 分鏡效果還原：還原電影級別的分鏡效果，確保角色、外貌、動作、環(huán)境和燈光等元素連貫一致，將故事情節(jié)與視覺效果完美結(jié)合。
- 四格漫畫創(chuàng)作：根據(jù)用戶描述的漫畫劇情與風(fēng)格，快速生成四格漫畫，生動講述小故事。
- 創(chuàng)意頭像定制：根據(jù)用戶的喜好與特點(diǎn)，定制專屬的情侶頭像或個人頭像，提供多種風(fēng)格選擇，滿足不同需求。

萬相2.1的技術(shù)原理

VAE架構(gòu)：變分自編碼器（VAE）作為一種生成模型，通過編碼器將輸入數(shù)據(jù)映射到潛在空間，再通過解碼器將其映射回數(shù)據(jù)空間，實(shí)現(xiàn)數(shù)據(jù)生成和重建。
DiT架構(gòu)：DiT（Diffusion in Time）架構(gòu)基于擴(kuò)散模型，通過在時間維度逐步引入噪聲并去除噪聲生成數(shù)據(jù)，能夠有效捕捉視頻的時空結(jié)構(gòu)，支持高效編解碼和高質(zhì)量視頻生成。
IC-LoRA：IC-LoRA是一種圖像生成訓(xùn)練方法，通過結(jié)合圖像內(nèi)容與文本描述，增強(qiáng)文本到圖像的上下文能力，使生成的圖像更符合用戶期待。
上下文建模：增強(qiáng)時空上下文建模能力，使得視頻內(nèi)容的動作、場景和風(fēng)格等元素更加自然、協(xié)調(diào)。