AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：硬核解決Sora的物理bug！美國(guó)四所頂尖高校聯(lián)合發(fā)布：給視頻生成器裝個(gè)物理引擎
關(guān)鍵字：粒子,材料,物體,梯度,速度
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：13713字

內(nèi)容摘要：

新智元報(bào)道編輯：LRS
【新智元導(dǎo)讀】PhysDreamer利用材質(zhì)點(diǎn)法（MPM）對(duì)物體的各個(gè)物理屬性進(jìn)行估計(jì)，實(shí)現(xiàn)了逼真的交互式響應(yīng)結(jié)果，在視頻生成領(lǐng)域向更真實(shí)的物理模擬邁出了重要一步。Sora剛發(fā)布后沒多久，火眼金睛的網(wǎng)友們就發(fā)現(xiàn)了不少bug，比如模型對(duì)物理世界知之甚少，小狗在走路的時(shí)候，兩條前腿就出現(xiàn)了交錯(cuò)問(wèn)題，讓人非常出戲。
對(duì)于生成視頻的真實(shí)感來(lái)說(shuō)，物體的交互非常重要，但目前來(lái)說(shuō)，合成真實(shí)3D物體在交互中的動(dòng)態(tài)行為仍然非常困難。與無(wú)條件或文本條件的動(dòng)力學(xué)不同的是，以動(dòng)作為條件的動(dòng)力學(xué)（action-conditioned dynamics）需要感知對(duì)象的物理材料屬性，并將3D預(yù)測(cè)建立在這些屬性（例如物體剛度）的基礎(chǔ)上。
但由于缺乏材料的真實(shí)數(shù)據(jù)，估計(jì)物理材料屬性仍然是一個(gè)懸而未決的問(wèn)題，因?yàn)闇y(cè)量真實(shí)物體的物理材料屬性非常困難。
最近，來(lái)自MIT、斯坦福大學(xué)、哥倫比亞大學(xué)和康奈爾大合提出了一種基于物理的方法模型PhysDreamer，利用視頻生成模型學(xué)習(xí)到的對(duì)象動(dòng)力學(xué)先驗(yàn)，為靜態(tài)3D對(duì)象賦予交互式動(dòng)力學(xué)。論文鏈接：https://arxiv.org/pdf/2404.

原文鏈接：硬核解決Sora的物理bug！美國(guó)四所頂尖高校聯(lián)合發(fā)布：給視頻生成器裝個(gè)物理引擎

聯(lián)系作者

文章來(lái)源：新智元
作者微信：AI_era
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。