開源3D人體動作編輯項目，文本驅動指導和編輯3D人體動作

產品名稱：MotionFix
產品簡介：MotionFix是開源的3D人體動作編輯項目，通過結合自然語言描述和條件擴散模型TMED，實現了對3D人體動作的精確編輯。通過半自動方式構建了一個包含源動作、目標動作和編輯文本的三元組數據集，解決了訓練數據不足的問題。
詳細介紹：

MotionFix是什么

MotionFix是開源的3D人體動作編輯項目，通過結合自然語言描述和條件擴散模型TMED，實現了對3D人體動作的精確編輯。通過半自動方式構建了一個包含源動作、目標動作和編輯文本的三元組數據集，解決了訓練數據不足的問題。TMED模型能理解文本描述中的編輯指令，應用于源，生成符合描述的修改后，同時保持與源的連貫性。在動畫制作、虛擬現實、游戲開發等領域具有廣泛的應用潛力，為3D人體動作編輯提供了一種新的、基于文本的控制和編輯方法。

MotionFix的主要功能

文本驅動的動作編輯：支持用戶通過自然語言描述來指導和編輯3D人體動作，實現對動作細節的精確調整。
數據集構建：通過半自動方法構建了一個包含源動作、目標動作和編輯文本的三元組數據集，為模型訓練提供數據支持。
條件擴散模型（TMED）：基于條件擴散模型根據源動作和文本指令逐步迭代生成編輯后的動作，保持動作的連貫性和準確性。
多模態輸入處理：TMED模型能處理包括文本描述、源動作和噪聲向量在內的多種輸入模態，提高了編輯的靈活性和適應性。
編輯指導與控制：通過引導比例控制生成過程中源動作和文本指令的影響程度，支持用戶調整生成動作與源動作的相似度及文本描述的遵循度。
評估指標創新：引入基于檢索的評估指標，量化評估生成動作的準確性和與源動作的接近程度，為編輯效果提供客觀評價。

MotionFix的技術原理

半自動數據收集：基于現有的動作捕捉數據集和文本到動作檢索模型（如TMR），自動找到相似的動作對，通過人工標注編輯文本來構建數據集。
SMPL動作表示：用SMPL（Skinned Multi-Person Linear）模型參數化人體動作，一種廣泛用于3D人體建模和動作捕捉的參數化表示方法。
編碼器-解碼器架構：TMED模型包括多個編碼器來處理時間步、文本和動作輸入，以及一個變換器（Transformer）模型來處理所有輸入的編碼。
分類器引導（Classifier-Free Guidance）：在采樣過程中，用分類器引導來調整源動作和文本條件的影響，從而控制生成過程。
檢索基線：為了評估生成動作的質量，用基于檢索的度量標準，如生成到目標檢索和生成到源檢索，來衡量生成動作與目標或源動作的相似度。