Sitcom-Crafter – 北航聯(lián)合港中文等高校推出的 3D 人類動作生成系統(tǒng)
Sitcom-Crafter是什么
Sitcom-Crafter 是由北京航空航天大學(xué)、香港中文大學(xué)(深圳)、悉尼科技大學(xué)和中山大學(xué)等多所高校共同研發(fā)的一個3D場景人類動作生成系統(tǒng)。該系統(tǒng)能夠根據(jù)用戶提供的長篇劇情引導(dǎo),智能生成豐富多樣且符合物理規(guī)律的動作表現(xiàn),涵蓋人類行走、人與場景的互動,以及人類之間的交互。Sitcom-Crafter 由八個模塊組成,其中三個核心模塊專注于動作生成,五個增強(qiáng)模塊則致力于優(yōu)化動作的流暢性、同步性和碰撞修正等方面。其創(chuàng)新的3D場景感知技術(shù)和自監(jiān)督簽名距離函數(shù)(SDF)策略,能夠在無需額外數(shù)據(jù)采集的情況下生成符合物理邏輯的動作,極大地提升了創(chuàng)作效率,為動畫和游戲設(shè)計(jì)提供了高效、智能化的解決方案。

Sitcom-Crafter的主要功能
- 人類行走:角色在3D環(huán)境中自然行走,展現(xiàn)真實(shí)的動態(tài)表現(xiàn)。
- 人類與場景交互:角色與環(huán)境中的物體進(jìn)行符合物理規(guī)律的互動。
- 人類之間交互:生成角色間協(xié)調(diào)的動作,減少碰撞并優(yōu)化動作的同步性。
- 增強(qiáng)功能:
- 劇情解析:AI自動分析劇本,將其轉(zhuǎn)化為具體的角色動作指令。
- 同步:確保不同模塊生成的動作在時間上保持一致性。
- 手部姿態(tài)增強(qiáng):通過檢索數(shù)據(jù)庫中的手部姿態(tài),提升的自然性。
- 碰撞修正:自動檢測并修正角色之間的碰撞。
- 3D重定向:將生成的動作映射至現(xiàn)有的3D數(shù)字角色模型,以提升視覺效果。
Sitcom-Crafter的技術(shù)原理
- 生成模塊:
- 人類行走生成:借助前沿技術(shù)(如GAMMA),通過深度學(xué)習(xí)模型生成角色的行走動作。
- 人與場景交互生成:根據(jù)DIMOS等方法,結(jié)合場景信息生物與環(huán)境物體的交互。
- 人與人交互生成:采用自監(jiān)督的場景感知方法,合成3D場景中的SDF點(diǎn),以模擬周圍環(huán)境,從而避免角色與場景間的碰撞,并基于擴(kuò)散模型生成多人交互,考慮角色之間的相對位置和。
- 場景感知技術(shù):
- SDF點(diǎn)合成:基于預(yù)處理的數(shù)據(jù),定義區(qū)域并隨機(jī)生成周圍物體的SDF點(diǎn),以模擬場景中的障礙物。
- 碰撞檢測與修正:SDF點(diǎn)檢測角色與場景或彼此之間的碰撞,調(diào)整軌跡或速度以避免碰撞。
- 劇情理解與指令生成:利用大型語言模型(如Gemini 1.5)解析劇情文本,將其轉(zhuǎn)化為具體的指令。通過自然語言處理技術(shù),將復(fù)雜劇情分解為多個命令,并分配給相應(yīng)的生成模塊。
- 增強(qiáng)模塊:
- 同步:通過插值技術(shù)(如Slerp)確保不同模塊生成的在時間上平滑過渡。
- 手部姿態(tài)檢索:CLIP模型檢索與文本描述最相似的手部姿態(tài),并融入生成的中。
- 碰撞修正:調(diào)整速度或路徑,以避免角色間的碰撞。
- 3D重定向:將生成的映射到高質(zhì)量的3D數(shù)字角色模型,提升視覺效果。
- 統(tǒng)一的表示:系統(tǒng)采用標(biāo)記點(diǎn)作為統(tǒng)一的表示,支持從不同數(shù)據(jù)源(如SMPL、SMPL-X模型)提取數(shù)據(jù),增強(qiáng)系統(tǒng)的擴(kuò)展性和兼容性。
Sitcom-Crafter的項(xiàng)目地址
- 項(xiàng)目官網(wǎng):https://windvchen.github.io/Sitcom-Crafter/
- GitHub倉庫:https://github.com/WindVChen/Sitcom-Crafter
- arXiv技術(shù)論文:https://arxiv.org/pdf/2410.10790
Sitcom-Crafter的應(yīng)用場景
- 動畫制作:迅速生成角色動作,減少手動動畫的工作量,支持多樣化動作和劇情驅(qū)動的動畫設(shè)計(jì)。
- 游戲開發(fā):為非玩家角色設(shè)計(jì)自然行為和交互動作,支持動態(tài)劇情生成和實(shí)時動作反饋,提升游戲的沉浸感。
- 虛擬現(xiàn)實(shí)(VR)和增強(qiáng)現(xiàn)實(shí)(AR):生成虛擬角色的自然交互和場景模擬,增強(qiáng)用戶體驗(yàn)及交互的自然性。
- 影視制作:用于早期創(chuàng)意驗(yàn)證、特效場景設(shè)計(jì)和動作捕捉替代,提升制作效率。
- 教育與培訓(xùn):生成模擬訓(xùn)練中的角色行為,創(chuàng)建虛擬教學(xué)助手,支持安全演示和復(fù)雜場景的教學(xué)。
? 版權(quán)聲明
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載。
相關(guān)文章
暫無評論...

粵公網(wǎng)安備 44011502001135號