DisPose – 北大等多所高校推出的增強人物圖像控制動畫質量的技術

DisPose是什么

DisPose是由北京大學、中國科學技術大學、清華大學和香港科技大學的研究團隊聯合開發的一項先進技術，旨在提升人物圖像動畫的質量。該技術通過從骨骼姿態及參考圖像中提取有效的控制信號，實現高效的動畫控制，而無需額外的密集輸入。DisPose將姿態控制分為場引導和關鍵點對應，生成密集的場以提供區域級的指導，同時具備對不同體型的良好適應性。此外，DisPose還包含一個即插即用的混合ControlNet模塊，能夠顯著改善現有模型生成視頻的質量和一致性。

DisPose的主要功能

• 場引導：通過骨骼姿態生成密集的場，為視頻生成提供區域級的動作一致性。
• 關鍵點對應：從參考圖像中提取與姿態關鍵點相對應的擴散特征，確保身份信息的一致性。
• 即插即用模塊：此模塊可無縫集成到現有的人物動畫模型中，而無需調整現有模型參數。
• 質量與一致性提升：混合ControlNet的設計使得生成視頻的質量和外觀的一致性得到提升。
• 無需額外密集輸入：該技術無需依賴額外的深度圖等密集輸入，降低了對參考角色與驅動視頻之間身體形狀差異的敏感性。

DisPose的技術原理

• 場估計：
  • 稀疏場：DWpose通過關鍵點追蹤估計骨骼姿態，以軌跡圖的形式表示位移。
  • 密集場：條件傳播（CMP）利用稀疏場和參考圖像來預測密集場，提供更為細致的信號。
• 關鍵點特征提取：借助預訓練的圖像擴散模型提取參考圖像的DIFT特征，并與關鍵點進行對應，生成關鍵點特征圖。
• 混合ControlNet：特別設計的混合ControlNet在訓練過程中會不斷更新，無需凍結現有模型的其他部分，從而便于將場引導和關鍵點對應功能無縫集成到現有動畫模型中。
• 特征融合：
  • 通過特征融合層將稀疏和密集特征結合，生成最終的場引導信號。
  • 利用多尺度點編碼器將關鍵點特征與U-Net編碼器的中間特征結合，增強特征之間的語義對應。
• 控制信號集成：將場引導和關鍵點對應作為額外的控制信號，注入到潛在的視頻擴散模型中，以生成精準的人物圖像動畫。

DisPose的項目地址

• 項目官網：lihxxx.github.io/DisPose
• GitHub倉庫：https://github.com/lihxxx/DisPose
• arXiv技術論文：https://arxiv.org/pdf/2412.09349

DisPose的應用場景

• 藝術創作：藝術家可以利用DisPose創作出具有特定動作和表情的動態藝術作品，如動態繪畫和數字雕塑。
• 社交媒體：在社交媒體平臺上，用戶可以生成個性化的動態頭像或動態表情，增加互動的趣味性。
• 數字人和虛擬偶像：通過DisPose創建并控制虛擬角色的動作和表情，廣泛應用于直播、視頻會議或作為虛擬偶像進行表演。
• 電影制作：在電影后期制作中，利用該技術生成或修改角色的動作，顯著提升制作效率。
• 虛擬現實（VR）和增強現實（AR）：在VR和AR應用中，生成可以與用戶互動的虛擬角色，提供更加自然和真實的互動體驗。

常見問題

• DisPose適合哪些類型的項目？：DisPose適用于藝術創作、社交媒體互動、數字人和虛擬偶像的制作、電影后期以及VR/AR應用等多個領域。
• 使用DisPose需要哪些前提條件？：用戶需要具備一定的技術基礎，了解骨骼動畫和圖像處理的相關知識。
• DisPose是否支持不同的動畫模型？：是的，DisPose設計為即插即用的模塊，可以與多種現有的人物動畫模型兼容使用。
• 如何獲取DisPose的最新動態？：用戶可以通過訪問DisPose的官方網站和GitHub倉庫獲取相關信息和更新。