ViewExtrapolator是一種由南洋理工大學(xué)與UCAS研究團(tuán)隊(duì)聯(lián)合開發(fā)的創(chuàng)新性新視角外推技術(shù)。這項(xiàng)基于穩(wěn)定視頻擴(kuò)散（Stable Video Diffusion，SVD）的技術(shù)能夠生成超出訓(xùn)練視圖范圍的新視角圖像，顯著提升3D渲染的清晰度和真實(shí)性。通過重新設(shè)計(jì)SVD的去噪過程，ViewExtrapolator能夠有效減少輻射場或點(diǎn)云渲染中的偽影，使得生成的新視角圖像更加生動(dòng)和逼真。此外，該方法無需對SVD進(jìn)行微調(diào)，從而在數(shù)據(jù)和計(jì)算上實(shí)現(xiàn)了高效性，適用于多種3D渲染技術(shù)。

ViewExtrapolator是什么

ViewExtrapolator是南洋理工大學(xué)與UCAS研究團(tuán)隊(duì)共同開發(fā)的一種新視角外推方法，基于穩(wěn)定視頻擴(kuò)散（SVD）技術(shù)，能夠合成超出訓(xùn)練視角的新圖像。通過重新設(shè)計(jì)SVD的去噪過程，該方法有效優(yōu)化了輻射場或點(diǎn)云渲染中的偽影，生成更清晰、真實(shí)的新視角圖像。ViewExtrapolator不需要對SVD進(jìn)行微調(diào)，展現(xiàn)出優(yōu)越的數(shù)據(jù)和計(jì)算效率，適用于多種3D渲染技術(shù)。

ViewExtrapolator的主要功能

• 新視角生成：能夠生成超出原訓(xùn)練視圖的新圖像，這對于沉浸式3D體驗(yàn)和探索重建的輻射場至關(guān)重要。
• 偽影優(yōu)化：基于穩(wěn)定視頻擴(kuò)散（SVD）的生成先驗(yàn)，有效減少由輻射場或點(diǎn)云渲染引起的偽影，提高新視角合成的視覺效果。
• 高效的數(shù)據(jù)和計(jì)算：作為一種無需微調(diào)SVD的推斷方法，ViewExtrapolator在數(shù)據(jù)和計(jì)算上都表現(xiàn)出色，使新視角生成更加實(shí)用。
• 適用性廣泛：可與多種3D渲染方法配合使用，包括從單視圖或單目視頻生成的點(diǎn)云，展現(xiàn)出良好的通用性和適應(yīng)性。

ViewExtrapolator的技術(shù)原理

• SVD去噪機(jī)制：基于穩(wěn)定視頻擴(kuò)散（SVD）模型，通過逐步去噪的方式生成視頻。
• 引導(dǎo)與重采樣退火：引入引導(dǎo)退火和重采樣退火技術(shù)，在去噪過程中根據(jù)不同階段應(yīng)用不同程度的引導(dǎo)，有效修復(fù)未見區(qū)域，提升視覺質(zhì)量。
• 多視圖一致性：通過SVD的多視圖一致性，生成輻射場或點(diǎn)云渲染中未觀測到部分的自然視頻細(xì)節(jié)，保留相機(jī)與場景動(dòng)態(tài)。
• 無需額外訓(xùn)練：利用SVD的生成先驗(yàn)進(jìn)行新視角外推，保證高效的數(shù)據(jù)和計(jì)算性能。
• 靈活的3D渲染：無論是從多視圖圖像生成的輻射場，還是從單視圖生成的點(diǎn)云，ViewExtrapolator都能有效提升渲染質(zhì)量。

ViewExtrapolator的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：kunhao-liu.github.io/ViewExtrapolator
• GitHub倉庫：https://github.com/Kunhao-Liu/ViewExtrapolator
• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.14208

ViewExtrapolator的應(yīng)用場景

• 虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）：在VR和AR應(yīng)用中生成超出預(yù)先渲染視圖的新視角，提升用戶的沉浸體驗(yàn)。
• 3D內(nèi)容創(chuàng)作：為3D藝術(shù)家和游戲開發(fā)者提供工具，從有限視圖合成完整的3D場景，減少手動(dòng)建模的需求，加快內(nèi)容制作過程。
• 電影及視頻制作：在影視制作中生成攝像機(jī)未捕捉到的視角，或用于制作復(fù)雜的特效場景。
• 文物及歷史遺跡數(shù)字化：用于文物和歷史遺跡的數(shù)字化保護(hù)，從有限視角重建完整的3D模型，以便更加全面的研究與展示。
• 建筑及室內(nèi)設(shè)計(jì)可視化：幫助設(shè)計(jì)師從不同角度預(yù)覽設(shè)計(jì)效果，即使這些視角在實(shí)際拍攝時(shí)難以實(shí)現(xiàn)。