一鍵讓你的照片動起來！UC伯克利大學(xué)發(fā)布 3D 動作遷移模型3DHM

AIGC動態(tài)歡迎閱讀

原標(biāo)題：一鍵讓你的照片動起來！UC伯克利大學(xué)發(fā)布 3D 動作遷移模型3DHM
關(guān)鍵字：紋理,人物,模型,照片,動作
文章來源：夕小瑤科技說
內(nèi)容字?jǐn)?shù)：5402字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | 智商掉了一地、Python小時候看動畫片時，總是震撼于動畫夢工廠里能讓一幅畫動起來的操作。也幻想過有朝一日成為神筆馬良，能夠讓照片的人物動起來，而現(xiàn)在已經(jīng)有了讓照片面部表情動態(tài)化的成熟產(chǎn)品。
那么給定一個人的照片，能不能讓這個人模仿規(guī)定的動作動起來呢？與照片面部表情的動態(tài)生成相比，這個挑戰(zhàn)更為復(fù)雜，因為它涉及對人體姿勢隨時間變化的理解，以及學(xué)習(xí)有關(guān)人類外觀和服裝細(xì)節(jié)的先驗知識。
近期，加州大學(xué)伯克利分校的研究團隊提出了 3DHM，這是一個基于擴散模型的兩階段框架，可以利用單張照片生物動畫。首先，通過學(xué)習(xí)關(guān)于人體和服裝的先驗知識，以及單張照片中服裝和紋理與動作的映射，然后渲染 3D 人物，從而合成一系列與目標(biāo)動作相符，且與輸入照片人物外觀一致的人物視頻。
論文題目: Synthesizing Moving People with 3D Control
論文鏈接: https://arxiv.org/abs/2401.10889
博客地址: https://boyiliee.github.io/3DHM.github.io/
如何合成移動的人物？如圖 1

原文鏈接：一鍵讓你的照片動起來！UC伯克利大學(xué)發(fā)布 3D 動作遷移模型3DHM

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI應(yīng)用開發(fā)者、算法工程師和研究人員。一線作者均來自清北、國外頂級AI實驗室和互聯(lián)網(wǎng)大廠，兼?zhèn)涿襟wsense與技術(shù)深度。