Motionshop

Motionshop是阿里巴巴智能計(jì)算研究院推出的一款先進(jìn)的AI角色動(dòng)畫(huà)框架，它能夠?qū)⒁曨l中的人物角色無(wú)縫地替換為生動(dòng)的3D虛擬形象，同時(shí)保持視頻中其他場(chǎng)景和人物的完整性。該框架結(jié)合了多種技術(shù)，包括視頻處理、角色檢測(cè)、分割、追蹤、姿態(tài)分析、模型提取和動(dòng)畫(huà)渲染，使得動(dòng)態(tài)視頻中的主角能夠輕松跨越現(xiàn)實(shí)與虛擬的界限，一鍵變身為有趣的3D角色模型。

Motionshop是什么

Motionshop是由阿里巴巴智能計(jì)算研究院（包括XR實(shí)驗(yàn)室和TIDE三維渲染團(tuán)隊(duì)）開(kāi)發(fā)的AI角色動(dòng)畫(huà)框架。它可以將視頻中的主要人物角色替換為3D化身，同時(shí)不對(duì)視頻中的其他場(chǎng)景和角色造成影響。借助視頻處理、角色檢測(cè)、分割、追蹤、姿態(tài)分析、模型提取和動(dòng)畫(huà)渲染等多項(xiàng)技術(shù)，Motionshop使動(dòng)態(tài)視頻中的主角能夠輕松跨越現(xiàn)實(shí)與虛擬的界限，輕松變身為生動(dòng)的3D角色模型。

項(xiàng)目官網(wǎng)：https://aigc3d.github.io/motionshop/

在線體驗(yàn)入口：https://www.modelscope.cn/studios/Damo_XR_Lab/motionshop/summary

主要功能

• 人物替換為3D化身：用戶只需上傳一段視頻，AI便會(huì)智能識(shí)別視頻中的主要人物，并將其無(wú)縫轉(zhuǎn)換為生動(dòng)的3D角色模型。
• 動(dòng)作同步與真實(shí)感：Motionshop不僅替換人物角色，還能精準(zhǔn)復(fù)刻原視頻中人物的動(dòng)作細(xì)節(jié)，確保3D角色的動(dòng)作流暢自然，提供高度逼真的視覺(jué)效果。
• 現(xiàn)實(shí)與虛擬的無(wú)縫融合：通過(guò)Motionshop，現(xiàn)實(shí)世界中的人物與3D虛擬角色可以完美結(jié)合，創(chuàng)造出跨越現(xiàn)實(shí)與虛擬界限的新體驗(yàn)，為視頻內(nèi)容增添無(wú)限創(chuàng)意。

產(chǎn)品原理

Motionshop框架由兩個(gè)主要部分組成：一是用于提取和修復(fù)背景視頻序列的視頻處理流程，二是用于生成3D虛擬角序列的姿態(tài)估計(jì)和渲染流程。通過(guò)并行處理這兩條線，結(jié)合高性能光線追蹤渲染器TIDE，整個(gè)視頻替換過(guò)程可以在短短幾分鐘內(nèi)完成。

具體的技術(shù)流程如下：

1. 角色檢測(cè)：Motionshop應(yīng)用先進(jìn)算法精準(zhǔn)識(shí)別視頻中的角色，確保后續(xù)處理的準(zhǔn)確性。
2. 視頻對(duì)象分割與跟蹤：在角色檢測(cè)的基礎(chǔ)上，系統(tǒng)對(duì)視頻對(duì)象進(jìn)行像素級(jí)的分割與跟蹤，為后續(xù)的修復(fù)和替換做好準(zhǔn)備。
3. 視頻修復(fù)：采用先進(jìn)的技術(shù)修復(fù)背景視頻序列中的瑕疵和不完美之處。
4. 姿態(tài)估計(jì)：通過(guò)高精度的姿態(tài)估計(jì)方法，系統(tǒng)能夠穩(wěn)定捕捉角色的動(dòng)作姿態(tài)，為動(dòng)畫(huà)重定向奠定基礎(chǔ)。
5. 動(dòng)畫(huà)映射：在估計(jì)出角色姿態(tài)后，Motionshop會(huì)將這些姿態(tài)重新映射到選定的3D模型上，使新模型能夠自然模擬原始角色的動(dòng)作。
6. 光影估計(jì)：系統(tǒng)進(jìn)行精細(xì)的光影估計(jì)，以確保新模型與原始視頻的光影效果一致，實(shí)現(xiàn)視覺(jué)效果的無(wú)縫融合。
7. 3D渲染：利用TIDE渲染引擎，Motionshop將3D模型渲染為逼真的圖像序列，同時(shí)結(jié)合模糊、時(shí)間抗鋸齒等技術(shù)，提升渲染質(zhì)量。
8. 視頻合成：最后，將新生成的3D渲染圖像與修復(fù)后的視頻背景合成，創(chuàng)造出與原始視頻無(wú)縫對(duì)接的新視頻序列。

如何使用Motionshop

1. 訪問(wèn)Motionshop的ModelScope魔搭社區(qū)Demo體驗(yàn)鏈接：https://www.modelscope.cn/studios/Damo_XR_Lab/motionshop/summary
2. 準(zhǔn)備一段視頻，確保視頻中的主要人物完整且視頻時(shí)長(zhǎng)不超過(guò)15秒。
3. 上傳視頻后，系統(tǒng)會(huì)自動(dòng)選擇視頻中的人物。
4. 選擇你想要替換的虛擬角色模型。
5. 最后點(diǎn)擊生成視頻按鈕，等待片刻即可生成結(jié)果。