單圖就能解鎖全景視角！北大/港中文/騰訊等推出ViewCrafter | 已開(kāi)源

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：?jiǎn)螆D就能解鎖全景視角！北大/港中文/騰訊等推出ViewCrafter | 已開(kāi)源
關(guān)鍵字：新視角,騰訊,視角,視頻,團(tuán)隊(duì)
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

ViewCrafter團(tuán)隊(duì) 投稿量子位 | 公眾號(hào) QbitAI隨便給張圖就能從更多視角查看全景了？！
話(huà)不多說(shuō)，先看一波效果，單視角輸入be like：難度升級(jí)，接下來(lái)?yè)Q成雙視角，看起來(lái)銜接也非常絲滑。以上來(lái)自ViewCrafter，由北大、港中文、騰訊等機(jī)構(gòu)的研究人員提出，可以從單張或稀疏輸入圖像生成精確相機(jī)可控的新視角視頻。
還支持場(chǎng)景級(jí)文生3D、圖生3D、以及稀疏視角重建等應(yīng)用。目前論文和代碼均已開(kāi)源，并提供了在線(xiàn)Huggingface demo供用戶(hù)使用。
ViewCrafter：一種新視角生成方法傳統(tǒng)的新視角生成方法，如NeRF和3D-GS等技術(shù)，存在一個(gè)痛點(diǎn)：
依賴(lài)于密集的多視角訓(xùn)練數(shù)據(jù)
這限制了它們?cè)趦H有稀疏（輸入圖像數(shù)量有限，不能提供完整視角或詳盡場(chǎng)景信息）甚至單張輸入視角的情況下的應(yīng)用。
同時(shí)，傳統(tǒng)方法對(duì)訓(xùn)練資源的需求較高，且不具備泛化能力，這限制了它們?cè)谟?xùn)練資源受限場(chǎng)景下的應(yīng)用。
因此，ViewCrafter最終想實(shí)現(xiàn)：
從稀疏視角圖像甚至單張輸入圖像中生成任意規(guī)模場(chǎng)景的新視角。
這需要模型對(duì)3D物理世界有全面的理解。
接下來(lái)一起康康具體咋實(shí)現(xiàn)的。
概括而言，Vi

原文鏈接：單圖就能解鎖全景視角！北大/港中文/騰訊等推出ViewCrafter | 已開(kāi)源

聯(lián)系作者

文章來(lái)源：量子位
作者微信：
作者簡(jiǎn)介：