李飛飛團隊實現(xiàn)“隔空建模”,透過遮擋物還原完整3D人體模型
AIGC動態(tài)歡迎閱讀
原標題:李飛飛團隊實現(xiàn)“隔空建模”,透過遮擋物還原完整3D人體模型
關(guān)鍵字:遮擋,部分,人體,人物,建模
文章來源:量子位
內(nèi)容字數(shù):2976字
內(nèi)容摘要:
克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAI注意看,這個男人搬著一個長長的柜子,畫面中半個人都被遮擋住了。
但即使有這樣的遮擋,男人的整個身體在AI面前依然是無所遁形。
哪怕是蹲在椅子背后只露出頭,依然可以被模型完整還原。
從遮擋物背后把人“揪”出來的,是李飛飛團隊推出的人體建模新工具Wild2Avatar(本文簡稱W2A)。
只要一段4秒左右的的單角度視頻,就能構(gòu)建出完整的3D模型,有遮擋也不怕。
相比此前的SOTA方法,Wild2Avatar在人體建模上可謂是實現(xiàn)了質(zhì)的飛躍。
建模效果完勝Vid2Avatar從下面的對比圖中(從左到右依次為帶遮擋原圖、Vid2Avatar提取結(jié)果和W2A提取結(jié)果)可以看到,作為baseline的Vid2Avatar方法只能大概描繪出人的輪廓,遮擋物直接被“拍扁”到了人物身上,而且輪廓看上去也不夠準確。
而W2A提取出的任務(wù)不僅輪廓更加精確,看上去也更具立體感,關(guān)鍵是遮擋物被完美地去除,顯現(xiàn)出了完整的人物結(jié)構(gòu)。
對遮擋物的去除,W2A操作得也更為徹底,沒有留下多余的痕跡。
而baseline中部分結(jié)構(gòu)缺失的現(xiàn)象,在W2A中也沒有發(fā)生,人物的結(jié)
原文鏈接:李飛飛團隊實現(xiàn)“隔空建模”,透過遮擋物還原完整3D人體模型
聯(lián)系作者
文章來源:量子位
作者微信:QbitAI
作者簡介:追蹤人工智能新趨勢,關(guān)注科技行業(yè)新突破