Meta清華校友推全新AI「視頻生視頻」方法！單張A100生成「男人秒變猩猩」大片

AIGC動態(tài)歡迎閱讀

原標題：Meta清華校友推全新AI「視頻生視頻」方法！單張A100生成「男人秒變猩猩」大片
關鍵字：視頻,模型,研究人員,編輯,條件
文章來源：新智元
內容字數：7509字

內容摘要：

新智元報道編輯：編輯部
【新智元導讀】今年，會不會是AI視頻生成模型的元年？UT Austin聯(lián)手Meta團隊提出了一個全新V2V模型FlowVid，能夠在1.5分鐘內生成4秒高度一致性的視頻。英偉達高級科學家Jim Fan認為，2024年將是AI視頻年。
我們已經見證，AI視頻生成領域在過去一年里發(fā)生的巨變，RunWay的Gen-2、Pika的Pika 1.0等工具實現了高保真度、一致性。
與此同時，擴散模型徹底改變了圖像到圖像（I2I）的合成，現已逐漸滲透到視頻到視頻（V2V）的合成中。
不過，V2V合成面臨的難題是，如何去維持視頻幀之間時間連貫性。
來自得克薩斯大學奧斯汀分校和Meta GenAI團隊成員，提出了一個能夠保持一致性的V2V合成框架——FlowVid。
它通過利用空間條件和源視頻中的時間光流信息，實現了合成的高度一致性。
論文地址：https://arxiv.org/abs/2312.17681
研究人員通過對第一幀進行光流變換編碼，并將其作為在擴散模型中的輔助參考。
這樣，模型就可以通過編輯第一幀使用任何流行的I2I模型，并將這些編輯效果傳遞到連續(xù)的幀中，實現視

原文鏈接：Meta清華校友推全新AI「視頻生視頻」方法！單張A100生成「男人秒變猩猩」大片

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發(fā)展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。