字節(jié)跳動(dòng)推出顛覆性文生視頻模型,可控制動(dòng)作!
AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:字節(jié)跳動(dòng)推出顛覆性文生視頻模型,可控制動(dòng)作!
關(guān)鍵字:字節(jié)跳動(dòng),視頻,解讀,侵權(quán),模型
文章來源:AI前線
內(nèi)容字?jǐn)?shù):3688字
內(nèi)容摘要:
來源|AIGC開放社區(qū)
在 Sora 引爆文生視頻賽道之前,國內(nèi)的字節(jié)跳動(dòng)也推出了一款顛覆性視頻模型——Boximator。
與 Gen-2、Pink1.0 等模型不同的是,Boximator 可以通過文本精準(zhǔn)控制生成視頻中人物或物體的動(dòng)作。
例如,下雨天,大風(fēng)把一位女生的雨傘吹走了。目前,很少有視頻模型能精準(zhǔn)做到這一點(diǎn)。左側(cè)為 Boximator 生成的視頻
論文地址:
https://arxiv.org/abs/2402.01566
項(xiàng)目地址:
https://boximator.github.io/Boximator 案例賞析我們先看一下 Boximator 與 Gen-2、Pink1.0,在使用相同的文本提示詞、圖像生成的視頻,所表現(xiàn)出來的不同動(dòng)作。
為了方便觀察,「AIGC 開放社區(qū)」將對比視頻整合在一起,最左邊的是 Boximator 生成的視頻。
一個(gè)可愛的 3D 男孩站著,然后走路在這個(gè)案例中,Pika 1.0 生成的視頻男孩只是站著沒有走動(dòng),Gen-2 的視頻走動(dòng)了但不明顯,只有 Boximator 產(chǎn)生了明顯的走動(dòng)動(dòng)作。
一位英俊的男人用他的右手從口袋里拿出一朵玫瑰
原文鏈接:字節(jié)跳動(dòng)推出顛覆性文生視頻模型,可控制動(dòng)作!
聯(lián)系作者
文章來源:AI前線
作者微信:ai-front
作者簡介:面向AI愛好者、開發(fā)者和科學(xué)家,提供AI領(lǐng)域技術(shù)資訊、一線業(yè)界實(shí)踐案例、搜羅整理業(yè)界技術(shù)分享干貨、AI論文解讀。每周一節(jié)技術(shù)分享公開課,助力你全面擁抱人工智能技術(shù)。