AI如何掌握物理世界，通向世界模型

原標題：全面梳理200+篇前沿論文，視覺生成模型理解物理世界規(guī)律的通關(guān)密碼，都在這篇綜述里了！
文章來源：機器之心
內(nèi)容字數(shù)：4516字

生成式“物理AI”綜述：賦予視覺生成模型物理規(guī)律

機器之心AIxiv專欄報道了悉尼大學(xué)、西澳大學(xué)等機構(gòu)發(fā)表的綜述論文《Generative Physical AI in Vision: A Survey》，深入探討如何將物理規(guī)律融入視覺生成模型，以提升其對真實世界的刻畫能力。該論文定義了生成式“物理AI”的核心概念，并對現(xiàn)有方法進行了全面的梳理和總結(jié)。

1. 生成式“物理AI”的核心概念

論文首先明確了幾個關(guān)鍵概念：物理模擬（依據(jù)物理模型讓數(shù)據(jù)隨時間演變）、物理理解（從數(shù)據(jù)推斷物理模型或參數(shù)）、生成（用生成模型創(chuàng)造新內(nèi)容）。根據(jù)是否理解物理規(guī)律，生成分為無物理感知生成和物理感知生成。后者又細分為基于顯式物理模擬（PAG-E）和無顯式物理模擬（PAG-I）兩類。

2. 基于顯式物理模擬的生成 (PAG-E)：六大范式

PAG-E根據(jù)“物理模擬”與“生成模型”的融合方式，被歸納為六大范式：

1. 生成后模擬 (Gen-to-Sim): 先生成內(nèi)容，再添加物理屬性使其可模擬和交互，例如PIE-NeRF和PhysGaussian。
2. 生成中模擬 (Sim-in-Gen): 將物理模擬直接集成到生成模型中，例如PhysGen和PhyCAGE。
3. 生成與模擬并行 (Gen-and-Sim): 生成和模擬同時進行或緊密關(guān)聯(lián)，例如PAC-NeRF和iPAC-NeRF。
4. 模擬約束生成 (Sim-Constrained Gen): 物理模擬為生成模型提供訓(xùn)練約束或指導(dǎo)，例如PhysComp、Atlas3D和DiffuseBot。
5. 生成約束模擬 (Gen-Constrained Sim): 生成模型為模擬過程提供指導(dǎo)或先驗知識，例如Physics3D和DreamPhysics。
6. 模擬評估生成 (Sim-Evaluated Gen): 生成內(nèi)容旨在用于基于模擬的部署，例如PhysPart和PhyScene。

3. 無顯式物理模擬的生成 (PAG-I)

PAG-I指一些無需顯式物理模擬，也能展現(xiàn)一定物理推理能力的模型。例如，PhyT2V利用大語言模型提升文生視頻模型的物理真實性；Generative Interactive Dynamics模擬物體受外力影響的變化；Motion Prompting利用軌跡控制視頻生成；CoCoGen在采樣過程中注入物理信息。

4. 物理評估：衡量模型的物理“實力”

論文分析了評估圖像或視頻生成模型物理刻畫能力的方法。傳統(tǒng)指標不足，因此研究者提出了專門的數(shù)據(jù)集和指標，例如PhyBench、PhyGenBench和VideoPhy，以及人工評估和自動評估（例如利用視覺語言模型LVMs）。

5. 未來展望

論文展望了生成式“物理AI”的未來方向，包括改進評估方式、提升可解釋性、物理知識增強的大模型、神經(jīng)-符號混合模型、生成式模擬引擎以及跨學(xué)科應(yīng)用等。

更多相關(guān)研究成果可訪問https://github.com/BestJunYu/Awesome-Physics-aware-Generation。

聯(lián)系作者

文章來源：機器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺