相機(jī)+AI視頻生成,港大CUBE框架入選ICIP,無需訓(xùn)練實(shí)現(xiàn)可控視頻生成

AIGC動態(tài)歡迎閱讀
原標(biāo)題:相機(jī)+AI視頻生成,港大CUBE框架入選ICIP,無需訓(xùn)練實(shí)現(xiàn)可控視頻生成
關(guān)鍵字:報(bào)告,,視頻,相機(jī),框架
文章來源:量子位
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
CUBE團(tuán)隊(duì) 投稿量子位 | 公眾號 QbitAI在這個(gè)信息的時(shí)代,如何讓AI生成的視頻更具創(chuàng)意,又符合特定需求?
來自香港大學(xué)的最新研究《基于、無需訓(xùn)練的可控視頻生成框架 CUBE》帶來一個(gè)全新的解決方案。
這一框架利用了相機(jī)捕捉動態(tài)邊緣的能力,將AI生成的視頻帶入了一個(gè)新的維度,精準(zhǔn)又高效。論文原標(biāo)題是“Controllable Unsupervised Event-based Video Generation”,
發(fā)表于圖像處理盛會ICIP并被選為Oral(口頭報(bào)告),并受邀在WACV workshop演講。
什么是相機(jī)?在深入了解CUBE框架之前,先來認(rèn)識一下相機(jī)。
不同于傳統(tǒng)相機(jī)的定時(shí)捕捉,相機(jī)模仿生物的視覺系統(tǒng),只捕捉像素點(diǎn)亮度變化的“”,就像是只記錄畫面的精華部分。
這樣不僅可以有效減少冗余數(shù)據(jù),還可以顯著降低耗能。
尤其是在高速動態(tài)或光線變化大的場景下,相機(jī)比傳統(tǒng)相機(jī)更有優(yōu)勢。而這些獨(dú)特的“數(shù)據(jù)”正是CUBE框架的核心。
△左:普通相機(jī)拍的;右:相機(jī)拍的
簡單說,相機(jī)和普通相機(jī)不同,捕捉的是物體邊緣的動態(tài)細(xì)節(jié),就像你腦中一閃而
原文鏈接:相機(jī)+AI視頻生成,港大CUBE框架入選ICIP,無需訓(xùn)練實(shí)現(xiàn)可控視頻生成
聯(lián)系作者
文章來源:量子位
作者微信:
作者簡介:

粵公網(wǎng)安備 44011502001135號