開發(fā)者復盤:首個登上央視春晚的 AI 視頻制作過程踩坑&技術分享
AIGC動態(tài)歡迎閱讀
原標題:開發(fā)者復盤:首個登上央視春晚的 AI 視頻制作過程踩坑&技術分享
關鍵字:視頻,模型,工作流,項目,產(chǎn)品
文章來源:Founder Park
內(nèi)容字數(shù):4636字
內(nèi)容摘要:
央視春晚任素汐演唱的《枕著光的她》的現(xiàn)場伴奏視頻中,首次使用了AI生成的視頻。作者海辛和Simon阿文在文章中詳細講解了背后制作過程&用到開源技術的全面復盤,以及現(xiàn)階段制作AI生成視頻會遇到的問題。
文章轉(zhuǎn)自公眾號「全民熊貓計劃」,F(xiàn)ounder Park授權轉(zhuǎn)載。23 年年底,數(shù)字栩生的宋震老師邀請我和 @Simon阿文 ,加入春晚節(jié)目組一起制作了央視春晚任素汐演唱的《枕著光的她》中的 AI 視頻,以下是 AI 視頻完整段落。
舞者:王圣哲、高賈雪
在這個 AI 視頻項目中,我們使用到了開源社區(qū)中最新的技術:ControlNet, AnimateDiff, LCM, IPAdapter.
我們相信我們的實踐經(jīng)歷對 AI 視頻技術開源社區(qū)有正向的參考價值,所以決定將項目經(jīng)驗復盤分享給大家。項目本身的需求是將一段真人雙人舞用 AI 的風格轉(zhuǎn)繪成陶瓷的舞蹈,基于此需求,我們在項目開始時,對工作流進行了如下設計:
搭載在 ComfyUI 上,工作流高度自定義、省顯存。
使用 ControlNet Lineart + OpenPose 模型,參考拍攝視頻的線條及骨骼,生成新的 AI 動畫。
使
原文鏈接:開發(fā)者復盤:首個登上央視春晚的 AI 視頻制作過程踩坑&技術分享
聯(lián)系作者
文章來源:Founder Park
作者微信:Founder-Park
作者簡介:來自極客公園,專注與科技創(chuàng)業(yè)者聊「真問題」。