vivo影像規(guī)劃預(yù)研部研究員官善琰：基于視覺的物理規(guī)律反演研究 | 講座預(yù)告

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：vivo影像規(guī)劃預(yù)研部研究員官善琰：基于視覺的物理規(guī)律反演研究 | 講座預(yù)告
關(guān)鍵字：視覺,粒子,動(dòng)態(tài),物理,框架
文章來源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

文本到圖像的擴(kuò)散模型在文本提示的指導(dǎo)下展示了前所未有的創(chuàng)作能力，例如在視覺藝術(shù)、合成數(shù)據(jù)集構(gòu)建以及市場營銷和廣告中的圖像編輯等創(chuàng)意工作。然而，基于特定主題生成個(gè)性化實(shí)例仍然具有挑戰(zhàn)性。
為此，vivo影像規(guī)劃預(yù)研部研究員官善琰等提出一種新的框架HybridBooth。該框架融合了基于優(yōu)化和直接回歸方法的優(yōu)點(diǎn)，創(chuàng)造一種平衡質(zhì)量和速度的混合方法，從而實(shí)現(xiàn)了高效、精確的主題驅(qū)動(dòng)生成。相關(guān)論文成果收錄于ECCV 2024。同時(shí)，深度學(xué)習(xí)在模擬復(fù)雜粒子系統(tǒng)（如流體）的物理動(dòng)力學(xué)方面顯示出巨大的潛力。然而，神經(jīng)網(wǎng)絡(luò)是否可以直接從觀察到的圖像推斷流體動(dòng)力學(xué)仍然是一個(gè)懸而未決的問題。對此官善琰研究員等提出了神經(jīng)流體NeuroFluid，其為首個(gè)基于粒子的流體動(dòng)力學(xué)的無監(jiān)督學(xué)習(xí)解決方案。相關(guān)論文成果收錄于ICML 2022。NeuroFluid關(guān)鍵思想是在端到端可訓(xùn)練的框架中，將基于粒子的流體模擬與粒子驅(qū)動(dòng)的神經(jīng)渲染連接起來，使兩個(gè)網(wǎng)絡(luò)可以聯(lián)合優(yōu)化，從而獲得兩者之間合理的粒子表示。實(shí)驗(yàn)數(shù)據(jù)表明，NeuroFluid學(xué)習(xí)了更加合理的流體動(dòng)力學(xué)，可以在動(dòng)態(tài)基礎(chǔ)、預(yù)測和新視圖合成方面產(chǎn)生不錯(cuò)的結(jié)果。《易經(jīng)·說

原文鏈接：vivo影像規(guī)劃預(yù)研部研究員官善琰：基于視覺的物理規(guī)律反演研究 | 講座預(yù)告