Motionshop是阿里巴巴智能計算研究院推出的一款先進的AI角色動畫框架，它能夠將視頻中的人物角色無縫地替換為生動的3D虛擬形象，同時保持視頻中其他場景和人物的完整性。該框架結合了多種技術，包括視頻處理、角色檢測、分割、追蹤、姿態分析、模型提取和動畫渲染，使得動態視頻中的主角能夠輕松跨越現實與虛擬的界限，一鍵變身為有趣的3D角色模型。

Motionshop是什么

Motionshop是由阿里巴巴智能計算研究院（包括XR實驗室和TIDE三維渲染團隊）開發的AI角色動畫框架。它可以將視頻中的主要人物角色替換為3D化身，同時不對視頻中的其他場景和角色造成影響。借助視頻處理、角色檢測、分割、追蹤、姿態分析、模型提取和動畫渲染等多項技術，Motionshop使動態視頻中的主角能夠輕松跨越現實與虛擬的界限，輕松變身為生動的3D角色模型。

項目官網：https://aigc3d.github.io/motionshop/

在線體驗入口：https://www.modelscope.cn/studios/Damo_XR_Lab/motionshop/summary

主要功能

• 人物替換為3D化身：用戶只需上傳一段視頻，AI便會智能識別視頻中的主要人物，并將其無縫轉換為生動的3D角色模型。
• 動作同步與真實感：Motionshop不僅替換人物角色，還能精準復刻原視頻中人物的動作細節，確保3D角色的動作流暢自然，提供高度逼真的視覺效果。
• 現實與虛擬的無縫融合：通過Motionshop，現實世界中的人物與3D虛擬角色可以完美結合，創造出跨越現實與虛擬界限的新體驗，為視頻內容增添無限創意。

產品原理

Motionshop框架由兩個主要部分組成：一是用于提取和修復背景視頻序列的視頻處理流程，二是用于生成3D虛擬角序列的姿態估計和渲染流程。通過并行處理這兩條線，結合高性能光線追蹤渲染器TIDE，整個視頻替換過程可以在短短幾分鐘內完成。

具體的技術流程如下：

1. 角色檢測：Motionshop應用先進算法精準識別視頻中的角色，確保后續處理的準確性。
2. 視頻對象分割與跟蹤：在角色檢測的基礎上，系統對視頻對象進行像素級的分割與跟蹤，為后續的修復和替換做好準備。
3. 視頻修復：采用先進的技術修復背景視頻序列中的瑕疵和不完美之處。
4. 姿態估計：通過高精度的姿態估計方法，系統能夠穩定捕捉角色的動作姿態，為動畫重定向奠定基礎。
5. 動畫映射：在估計出角色姿態后，Motionshop會將這些姿態重新映射到選定的3D模型上，使新模型能夠自然模擬原始角色的動作。
6. 光影估計：系統進行精細的光影估計，以確保新模型與原始視頻的光影效果一致，實現視覺效果的無縫融合。
7. 3D渲染：利用TIDE渲染引擎，Motionshop將3D模型渲染為逼真的圖像序列，同時結合模糊、時間抗鋸齒等技術，提升渲染質量。
8. 視頻合成：最后，將新生成的3D渲染圖像與修復后的視頻背景合成，創造出與原始視頻無縫對接的新視頻序列。

如何使用Motionshop

1. 訪問Motionshop的ModelScope魔搭社區Demo體驗鏈接：https://www.modelscope.cn/studios/Damo_XR_Lab/motionshop/summary
2. 準備一段視頻，確保視頻中的主要人物完整且視頻時長不超過15秒。
3. 上傳視頻后，系統會自動選擇視頻中的人物。
4. 選擇你想要替換的虛擬角色模型。
5. 最后點擊生成視頻按鈕，等待片刻即可生成結果。