Motionshop

Motionshop是阿里巴巴智能計算研究院推出的一款先進的AI角色動畫框架，它能夠?qū)⒁曨l中的人物角色無縫地替換為生動的3D虛擬形象，同時保持視頻中其他場景和人物的完整性。該框架結(jié)合了多種技術(shù)，包括視頻處理、角色檢測、分割、追蹤、姿態(tài)分析、模型提取和動畫渲染，使得動態(tài)視頻中的主角能夠輕松跨越現(xiàn)實與虛擬的界限，一鍵變身為有趣的3D角色模型。

Motionshop是什么

Motionshop是由阿里巴巴智能計算研究院（包括XR實驗室和TIDE三維渲染團隊）開發(fā)的AI角色動畫框架。它可以將視頻中的主要人物角色替換為3D化身，同時不對視頻中的其他場景和角色造成影響。借助視頻處理、角色檢測、分割、追蹤、姿態(tài)分析、模型提取和動畫渲染等多項技術(shù)，Motionshop使動態(tài)視頻中的主角能夠輕松跨越現(xiàn)實與虛擬的界限，輕松變身為生動的3D角色模型。

項目官網(wǎng)：https://aigc3d.github.io/motionshop/

在線體驗入口：https://www.modelscope.cn/studios/Damo_XR_Lab/motionshop/summary

主要功能

• 人物替換為3D化身：用戶只需上傳一段視頻，AI便會智能識別視頻中的主要人物，并將其無縫轉(zhuǎn)換為生動的3D角色模型。
• 動作同步與真實感：Motionshop不僅替換人物角色，還能精準復刻原視頻中人物的動作細節(jié)，確保3D角色的動作流暢自然，提供高度逼真的視覺效果。
• 現(xiàn)實與虛擬的無縫融合：通過Motionshop，現(xiàn)實世界中的人物與3D虛擬角色可以完美結(jié)合，創(chuàng)造出跨越現(xiàn)實與虛擬界限的新體驗，為視頻內(nèi)容增添無限創(chuàng)意。

產(chǎn)品原理

Motionshop框架由兩個主要部分組成：一是用于提取和修復背景視頻序列的視頻處理流程，二是用于生成3D虛擬角序列的姿態(tài)估計和渲染流程。通過并行處理這兩條線，結(jié)合高性能光線追蹤渲染器TIDE，整個視頻替換過程可以在短短幾分鐘內(nèi)完成。

具體的技術(shù)流程如下：

1. 角色檢測：Motionshop應用先進算法精準識別視頻中的角色，確保后續(xù)處理的準確性。
2. 視頻對象分割與跟蹤：在角色檢測的基礎(chǔ)上，系統(tǒng)對視頻對象進行像素級的分割與跟蹤，為后續(xù)的修復和替換做好準備。
3. 視頻修復：采用先進的技術(shù)修復背景視頻序列中的瑕疵和不完美之處。
4. 姿態(tài)估計：通過高精度的姿態(tài)估計方法，系統(tǒng)能夠穩(wěn)定捕捉角色的動作姿態(tài)，為動畫重定向奠定基礎(chǔ)。
5. 動畫映射：在估計出角色姿態(tài)后，Motionshop會將這些姿態(tài)重新映射到選定的3D模型上，使新模型能夠自然模擬原始角色的動作。
6. 光影估計：系統(tǒng)進行精細的光影估計，以確保新模型與原始視頻的光影效果一致，實現(xiàn)視覺效果的無縫融合。
7. 3D渲染：利用TIDE渲染引擎，Motionshop將3D模型渲染為逼真的圖像序列，同時結(jié)合模糊、時間抗鋸齒等技術(shù)，提升渲染質(zhì)量。
8. 視頻合成：最后，將新生成的3D渲染圖像與修復后的視頻背景合成，創(chuàng)造出與原始視頻無縫對接的新視頻序列。

如何使用Motionshop

1. 訪問Motionshop的ModelScope魔搭社區(qū)Demo體驗鏈接：https://www.modelscope.cn/studios/Damo_XR_Lab/motionshop/summary
2. 準備一段視頻，確保視頻中的主要人物完整且視頻時長不超過15秒。
3. 上傳視頻后，系統(tǒng)會自動選擇視頻中的人物。
4. 選擇你想要替換的虛擬角色模型。
5. 最后點擊生成視頻按鈕，等待片刻即可生成結(jié)果。