3DHM – 3D人體動作生成框架，單張圖片生成任意視頻動作

3DHM是什么

3DHM（3D Human Motions）是一項由加州大學伯克利分校的研究團隊開發的先進3D人體動作生成技術。該技術能夠依托單張人物照片，生成可進行3D控制的動態人體視頻，實現靜態圖像向動態視頻的轉換。通過對人體不可見部分的先驗知識的學習，并結合特定的3D序列，3DHM可以渲染出適合的服裝和紋理，生成全新的身體姿態。這項技術在電影特效、虛擬現實和游戲開發等多個領域展現出廣泛的應用潛力，為動畫制作和人體動作模擬開辟了新局面。

3DHM的主要功能

• 動作生成：3DHM可以根據文本描述生成相關的3D人體動作，如跑步、舞蹈、打籃球等。
• 動作編輯：支持基于掩碼的編輯功能，用戶可以選擇特定的動作部分進行調整，例如改變動作的持續時間或細節。
• 動作評估：提供評估腳本，用于分析生成動作的質量和真實性。
• 紋理修復：通過單張照片生成不完整的紋理，并利用擴散模型進行修復，以生成完整的紋理圖案。
• 人體渲染：基于3D人體姿勢的渲染流程，可以生成目標人物在不同姿勢下的逼真渲染，包括衣物、發型和隱藏區域的合理填充。
• 動作模仿：3DHM框架能夠模仿目標視頻中的動作，包括肢體和服裝、人物外觀的變化。
• 3D控制：3DHM能夠使用多種合成相機軌跡來渲染人物，生成一系列忠實于目標的3D姿態，確保視覺效果與輸入圖像相似。

3DHM的技術原理

• 紋理修復（Inpainting Diffusion）：通過單張照片生成不完整的紋理圖案，并采用擴散模型進行修復。首先，從照片中提取可見的紋理圖案及其對應的mask，然后將這些輸入傳入擴散模型以生成完整的紋理圖案。
• 人體渲染（Rendering Diffusion）：在第二階段，目標是獲得更真實的人物渲染，包括衣物、發型和身體形狀等細節。將第一階段生成的紋理圖案應用于演員的3D身體網格序列，生成模仿者執行演員動作的中間渲染，隨后將其與原始照片一起輸入渲染擴散，生成真實外觀的人物。
• 預測模型4DHumans：3DHM框架充分利用來自先進預測模型4DHumans的準確3D姿勢預測，模型能夠精確跟蹤人體動作并提取演員視頻中的3D姿勢。

3DHM的項目地址

• 項目官網：https://boyiliee.github.io/3DHM
• Github倉庫：https://github.com/Boyiliee/3DHM
• arXiv技術論文：https://arxiv.org/pdf/2401.10889

3DHM的應用場景

• 電影特效制作：3DHM可用于生成復雜的角色動畫，減少手動制作的工作量，提高電影特效的真實感與效率。
• 虛擬現實（VR）：在VR應用中，3DHM能夠實時生成用戶身體的3D模型，提升沉浸感和互動體驗。
• 游戲開發：游戲開發者可以利用3DHM快速生成多樣化的角色動畫，增強游戲的豐富性與開發效率。
• 舞蹈與體操：3DHM能夠生成舞蹈或體操等動作的高質量視頻內容，適用于體育訓練和表演藝術的數字化展示。
• 動作模仿：3DHM能夠精準模仿目標視頻中的動作，包括肢體及服裝和人物外觀的變化，適合用于動作捕捉和動畫制作。