ViewExtrapolator是一種由南洋理工大學與UCAS研究團隊聯合開發的創新性新視角外推技術。這項基于穩定視頻擴散（Stable Video Diffusion，SVD）的技術能夠生成超出訓練視圖范圍的新視角圖像，顯著提升3D渲染的清晰度和真實性。通過重新設計SVD的去噪過程，ViewExtrapolator能夠有效減少輻射場或點云渲染中的偽影，使得生成的新視角圖像更加生動和逼真。此外，該方法無需對SVD進行微調，從而在數據和計算上實現了高效性，適用于多種3D渲染技術。

ViewExtrapolator是什么

ViewExtrapolator是南洋理工大學與UCAS研究團隊共同開發的一種新視角外推方法，基于穩定視頻擴散（SVD）技術，能夠合成超出訓練視角的新圖像。通過重新設計SVD的去噪過程，該方法有效優化了輻射場或點云渲染中的偽影，生成更清晰、真實的新視角圖像。ViewExtrapolator不需要對SVD進行微調，展現出優越的數據和計算效率，適用于多種3D渲染技術。

ViewExtrapolator的主要功能

• 新視角生成：能夠生成超出原訓練視圖的新圖像，這對于沉浸式3D體驗和探索重建的輻射場至關重要。
• 偽影優化：基于穩定視頻擴散（SVD）的生成先驗，有效減少由輻射場或點云渲染引起的偽影，提高新視角合成的視覺效果。
• 高效的數據和計算：作為一種無需微調SVD的推斷方法，ViewExtrapolator在數據和計算上都表現出色，使新視角生成更加實用。
• 適用性廣泛：可與多種3D渲染方法配合使用，包括從單視圖或單目視頻生成的點云，展現出良好的通用性和適應性。

ViewExtrapolator的技術原理

• SVD去噪機制：基于穩定視頻擴散（SVD）模型，通過逐步去噪的方式生成視頻。
• 引導與重采樣退火：引入引導退火和重采樣退火技術，在去噪過程中根據不同階段應用不同程度的引導，有效修復未見區域，提升視覺質量。
• 多視圖一致性：通過SVD的多視圖一致性，生成輻射場或點云渲染中未觀測到部分的自然視頻細節，保留相機與場景動態。
• 無需額外訓練：利用SVD的生成先驗進行新視角外推，保證高效的數據和計算性能。
• 靈活的3D渲染：無論是從多視圖圖像生成的輻射場，還是從單視圖生成的點云，ViewExtrapolator都能有效提升渲染質量。

ViewExtrapolator的項目地址

• 項目官網：kunhao-liu.github.io/ViewExtrapolator
• GitHub倉庫：https://github.com/Kunhao-Liu/ViewExtrapolator
• arXiv技術論文：https://arxiv.org/pdf/2411.14208

ViewExtrapolator的應用場景

• 虛擬現實（VR）和增強現實（AR）：在VR和AR應用中生成超出預先渲染視圖的新視角，提升用戶的沉浸體驗。
• 3D內容創作：為3D藝術家和游戲開發者提供工具，從有限視圖合成完整的3D場景，減少手動建模的需求，加快內容制作過程。
• 電影及視頻制作：在影視制作中生成攝像機未捕捉到的視角，或用于制作復雜的特效場景。
• 文物及歷史遺跡數字化：用于文物和歷史遺跡的數字化保護，從有限視角重建完整的3D模型，以便更加全面的研究與展示。
• 建筑及室內設計可視化：幫助設計師從不同角度預覽設計效果，即使這些視角在實際拍攝時難以實現。