CVPR 2024 | 跳舞時飛揚的裙擺，AI也能高度還原了，南洋理工提出動態人體渲染新范式

AIGC動態1年前 (2024)發布機器之心

AIGC動態歡迎閱讀

原標題：CVPR 2024 | 跳舞時飛揚的裙擺，AI也能高度還原了，南洋理工提出動態人體渲染新范式
關鍵字：建模,人體,衣服,范式,動態
文章來源：機器之心
內容字數：5015字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。在日常活動中，人的經常引起衣服的附屬 (secondary motion of clothes) 并因此產生不同的衣服褶皺，而這需要對人體及衣服的幾何、（人體姿態及速度動力學等）及外觀同時進行動態建模。由于此過程涉及復雜的人與衣服的非剛體物理交互，導致傳統三維表征往往難以應對。
近年從視頻序列中學習動態數字人渲染已取得了極大的進展，現有方法往往把渲染視為從人體姿態到圖像的神經映射，采用「編碼器—特征—外觀解碼器」的范式。而該范式基于圖像損失做監督，過于關注每一幀圖像重建而缺少對連續性的建模，因此對復雜如「人體及衣服附屬」難以有效建模。
為解決這一問題，來自新加坡南洋理工大學 S-Lab 團隊提出—外觀聯合學習的動態

原文鏈接：CVPR 2024 | 跳舞時飛揚的裙擺，AI也能高度還原了，南洋理工提出動態人體渲染新范式