Meta清華校友推全新AI「視頻生視頻」方法！單張A100生成「男人秒變猩猩」大片

AIGC動態(tài)歡迎閱讀

原標(biāo)題：Meta清華校友推全新AI「視頻生視頻」方法！單張A100生成「男人秒變猩猩」大片
關(guān)鍵字：視頻,模型,研究人員,編輯,條件
文章來源：新智元
內(nèi)容字?jǐn)?shù)：7509字

內(nèi)容摘要：

新智元報(bào)道編輯：編輯部
【新智元導(dǎo)讀】今年，會不會是AI視頻生成模型的元年？UT Austin聯(lián)手Meta團(tuán)隊(duì)提出了一個全新V2V模型FlowVid，能夠在1.5分鐘內(nèi)生成4秒高度一致性的視頻。英偉達(dá)高級科學(xué)家Jim Fan認(rèn)為，2024年將是AI視頻年。
我們已經(jīng)見證，AI視頻生成領(lǐng)域在過去一年里發(fā)生的巨變，RunWay的Gen-2、Pika的Pika 1.0等工具實(shí)現(xiàn)了高保真度、一致性。
與此同時，擴(kuò)散模型徹底改變了圖像到圖像（I2I）的合成，現(xiàn)已逐漸滲透到視頻到視頻（V2V）的合成中。
不過，V2V合成面臨的難題是，如何去維持視頻幀之間時間連貫性。
來自得克薩斯大學(xué)奧斯汀分校和Meta GenAI團(tuán)隊(duì)成員，提出了一個能夠保持一致性的V2V合成框架——FlowVid。
它通過利用空間條件和源視頻中的時間光流信息，實(shí)現(xiàn)了合成的高度一致性。
論文地址：https://arxiv.org/abs/2312.17681
研究人員通過對第一幀進(jìn)行光流變換編碼，并將其作為在擴(kuò)散模型中的輔助參考。
這樣，模型就可以通過編輯第一幀使用任何流行的I2I模型，并將這些編輯效果傳遞到連續(xù)的幀中，實(shí)現(xiàn)視

原文鏈接：Meta清華校友推全新AI「視頻生視頻」方法！單張A100生成「男人秒變猩猩」大片

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響，領(lǐng)航中國新智能時代。