史上最快3D數(shù)字人生成器:半小時完成訓練,渲染僅需16毫秒,蘋果出品
AIGC動態(tài)歡迎閱讀
原標題:史上最快3D數(shù)字人生成器:半小時完成訓練,渲染僅需16毫秒,蘋果出品
關鍵字:斑點,數(shù)字,場景,人物,神經(jīng)網(wǎng)絡
文章來源:量子位
內(nèi)容字數(shù):3570字
內(nèi)容摘要:
克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAI之前要兩天才能訓練好的數(shù)字人,現(xiàn)在只用半小時就能完成了!
到了推理階段,更是只要16毫秒,就能得到動作流暢、細節(jié)到位的場景視頻。
而且無需復雜的采樣和建模,只要隨便拍一段50-100幀的視頻就足夠了,換算成時間不過幾秒鐘。
這正是由蘋果聯(lián)合德國馬普所推出的,基于高斯函數(shù)的3D數(shù)字人合成工具HUGS。
它可以從一段簡單的視頻當中提取出人物骨骼,從而合成數(shù)字分身并驅(qū)動它做出任意動作。
這個數(shù)字人可以絲滑地融合到其他場景,甚至幀率還能超越原始素材,達到60FPS。
Hugging Face的“首席羊駝官”O(jiān)mar Sanseviero看到后,也給HUGS送上了hug。
那么,HUGS可以實現(xiàn)怎樣的效果呢?
100倍速生成60FPS視頻從下面這張動圖可以看出,新生成的數(shù)字人可以在不同于訓練素材的場景中做出不同的動作。
而新合成的畫面也比原始素材更加流暢——盡管原素材只有24FPS,但HUGS合成的視頻幀率達到了60FPS。
同時,HUGS也支持把多個人物融合進同一個場景。
細節(jié)刻畫上,HUGS也比Neuman和Vid2Avatar這兩個前SO
原文鏈接:史上最快3D數(shù)字人生成器:半小時完成訓練,渲染僅需16毫秒,蘋果出品
聯(lián)系作者
文章來源:量子位
作者微信:QbitAI
作者簡介:追蹤人工智能新趨勢,關注科技行業(yè)新突破