硬核解決Sora的物理bug！美國四所頂尖高校聯合發布：給視頻生成器裝個物理引擎

AIGC動態歡迎閱讀

原標題：硬核解決Sora的物理bug！美國四所頂尖高校聯合發布：給視頻生成器裝個物理引擎
關鍵字：粒子,材料,物體,梯度,速度
文章來源：新智元
內容字數：13713字

內容摘要：

新智元報道編輯：LRS
【新智元導讀】PhysDreamer利用材質點法（MPM）對物體的各個物理屬性進行估計，實現了逼真的交互式響應結果，在視頻生成領域向更真實的物理模擬邁出了重要一步。Sora剛發布后沒多久，火眼金睛的網友們就發現了不少bug，比如模型對物理世界知之甚少，小狗在走路的時候，兩條前腿就出現了交錯問題，讓人非常出戲。
對于生成視頻的真實感來說，物體的交互非常重要，但目前來說，合成真實3D物體在交互中的動態行為仍然非常困難。與無條件或文本條件的動力學不同的是，以動作為條件的動力學（action-conditioned dynamics）需要感知對象的物理材料屬性，并將3D預測建立在這些屬性（例如物體剛度）的基礎上。
但由于缺乏材料的真實數據，估計物理材料屬性仍然是一個懸而未決的問題，因為測量真實物體的物理材料屬性非常困難。
最近，來自MIT、斯坦福大學、哥倫比亞大學和康奈爾大合提出了一種基于物理的方法模型PhysDreamer，利用視頻生成模型學習到的對象動力學先驗，為靜態3D對象賦予交互式動力學。論文鏈接：https://arxiv.org/pdf/2404.

原文鏈接：硬核解決Sora的物理bug！美國四所頂尖高校聯合發布：給視頻生成器裝個物理引擎

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。