Sitcom-Crafter

Sitcom-Crafter – 北航聯合港中文等高校推出的 3D 人類動作生成系統

Sitcom-Crafter是什么

Sitcom-Crafter 是由北京航空航天大學、香港中文大學（深圳）、悉尼科技大學和中山大學等多所高校共同研發的一個3D場景人類動作生成系統。該系統能夠根據用戶提供的長篇劇情引導，智能生成豐富多樣且符合物理規律的動作表現，涵蓋人類行走、人與場景的互動，以及人類之間的交互。Sitcom-Crafter 由八個模塊組成，其中三個核心模塊專注于動作生成，五個增強模塊則致力于優化動作的流暢性、同步性和碰撞修正等方面。其創新的3D場景感知技術和自監督簽名距離函數（SDF）策略，能夠在無需額外數據采集的情況下生成符合物理邏輯的動作，極大地提升了創作效率，為動畫和游戲設計提供了高效、智能化的解決方案。

Sitcom-Crafter的主要功能

• 人類行走：角色在3D環境中自然行走，展現真實的動態表現。
• 人類與場景交互：角色與環境中的物體進行符合物理規律的互動。
• 人類之間交互：生成角色間協調的動作，減少碰撞并優化動作的同步性。
• 增強功能：
  • 劇情解析：AI自動分析劇本，將其轉化為具體的角色動作指令。
  • 同步：確保不同模塊生成的動作在時間上保持一致性。
  • 手部姿態增強：通過檢索數據庫中的手部姿態，提升的自然性。
  • 碰撞修正：自動檢測并修正角色之間的碰撞。
  • 3D重定向：將生成的動作映射至現有的3D數字角色模型，以提升視覺效果。

Sitcom-Crafter的技術原理

• 生成模塊：
  • 人類行走生成：借助前沿技術（如GAMMA），通過深度學習模型生成角色的行走動作。
  • 人與場景交互生成：根據DIMOS等方法，結合場景信息生物與環境物體的交互。
  • 人與人交互生成：采用自監督的場景感知方法，合成3D場景中的SDF點，以模擬周圍環境，從而避免角色與場景間的碰撞，并基于擴散模型生成多人交互，考慮角色之間的相對位置和。
• 場景感知技術：
  • SDF點合成：基于預處理的數據，定義區域并隨機生成周圍物體的SDF點，以模擬場景中的障礙物。
  • 碰撞檢測與修正：SDF點檢測角色與場景或彼此之間的碰撞，調整軌跡或速度以避免碰撞。
• 劇情理解與指令生成：利用大型語言模型（如Gemini 1.5）解析劇情文本，將其轉化為具體的指令。通過自然語言處理技術，將復雜劇情分解為多個命令，并分配給相應的生成模塊。
• 增強模塊：
  • 同步：通過插值技術（如Slerp）確保不同模塊生成的在時間上平滑過渡。
  • 手部姿態檢索：CLIP模型檢索與文本描述最相似的手部姿態，并融入生成的中。
  • 碰撞修正：調整速度或路徑，以避免角色間的碰撞。
  • 3D重定向：將生成的映射到高質量的3D數字角色模型，提升視覺效果。
• 統一的表示：系統采用標記點作為統一的表示，支持從不同數據源（如SMPL、SMPL-X模型）提取數據，增強系統的擴展性和兼容性。

Sitcom-Crafter的項目地址

• 項目官網：https://windvchen.github.io/Sitcom-Crafter/
• GitHub倉庫：https://github.com/WindVChen/Sitcom-Crafter
• arXiv技術論文：https://arxiv.org/pdf/2410.10790

Sitcom-Crafter的應用場景

• 動畫制作：迅速生成角色動作，減少手動動畫的工作量，支持多樣化動作和劇情驅動的動畫設計。
• 游戲開發：為非玩家角色設計自然行為和交互動作，支持動態劇情生成和實時動作反饋，提升游戲的沉浸感。
• 虛擬現實（VR）和增強現實（AR）：生成虛擬角色的自然交互和場景模擬，增強用戶體驗及交互的自然性。
• 影視制作：用于早期創意驗證、特效場景設計和動作捕捉替代，提升制作效率。
• 教育與培訓：生成模擬訓練中的角色行為，創建虛擬教學助手，支持安全演示和復雜場景的教學。