視頻生成控制提升幾十倍，新一代輕量級(jí)ControlNeXt火了，賈佳亞團(tuán)隊(duì)正挑戰(zhàn)Scaling Law

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：視頻生成控制提升幾十倍，新一代輕量級(jí)ControlNeXt火了，賈佳亞團(tuán)隊(duì)正挑戰(zhàn)Scaling Law
關(guān)鍵字：模型,團(tuán)隊(duì),參數(shù),條件,圖像
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

機(jī)器之心原創(chuàng)
編輯：杜偉最近，又一款國產(chǎn) AI 神器吸引了眾網(wǎng)友和圈內(nèi)研究人員的關(guān)注！它就是全新的圖像和視頻生成控制工具 —— ControlNeXt，由思謀科技創(chuàng)始人、港科大講座教授賈佳亞團(tuán)隊(duì)開發(fā)。X 平臺(tái)上知名 AI 博主「AK」推薦
從命名來看，ControlNeXt 「致敬」了斯坦福大學(xué)研究團(tuán)隊(duì)在 2023 年 2 月提出的 ControlNet，通過引入一些額外的控制信號(hào)，讓預(yù)訓(xùn)練的圖像擴(kuò)散模型（如 Stable Diffusion）根據(jù)預(yù)設(shè)的條件調(diào)整和優(yōu)化，實(shí)現(xiàn)線稿生成全彩圖，還能做語義分割、邊緣檢測(cè)、人體姿勢(shì)識(shí)別。
如果說 ControlNet 開啟了大模型多樣化玩法的先河，那么 ControlNeXt 在生成速度、精準(zhǔn)控制和用戶友好性等方面迎來全方位優(yōu)化。重要的是，ControlNeXt 只用不到 ControlNet 10% 的訓(xùn)練參數(shù)，可以稱得上是下一代「小鋼炮版」ControlNet 了。
截至目前，ControlNeXt 兼容了多款 Stable Diffusion 家族圖像生成模型（包括 SD1.5、SDXL、SD3），以及視頻生成模型 SVD。并且，Cont

原文鏈接：視頻生成控制提升幾十倍，新一代輕量級(jí)ControlNeXt火了，賈佳亞團(tuán)隊(duì)正挑戰(zhàn)Scaling Law

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：
作者簡介：