VideoDoodles是一款由Adobe公司與多所高校合作開發(fā)的AI視頻編輯框架，旨在為用戶提供便捷的手繪動(dòng)畫插入功能，使之與視頻內(nèi)容完美結(jié)合。通過對(duì)視頻幀的預(yù)處理，該系統(tǒng)為用戶提供一個(gè)平面畫布，用戶可以在其上繪制動(dòng)畫，而系統(tǒng)則會(huì)自動(dòng)處理透視和遮擋效果，極大簡(jiǎn)化了動(dòng)畫制作的流程。

VideoDoodles是什么

VideoDoodles是Adobe公司與多所大學(xué)共同推出的AI視頻編輯平臺(tái)。該工具支持用戶在視頻中輕松添加手繪風(fēng)格的動(dòng)畫，與視頻內(nèi)容實(shí)現(xiàn)無縫連接。通過系統(tǒng)對(duì)視頻幀的預(yù)處理，用戶能夠在平面畫布上進(jìn)行動(dòng)畫創(chuàng)作，系統(tǒng)會(huì)自動(dòng)處理透視及遮擋效果。VideoDoodles的跟蹤技術(shù)確保動(dòng)畫能夠隨視頻中的物體動(dòng)態(tài)變化，從而簡(jiǎn)化了動(dòng)畫制作的步驟。

VideoDoodles的主要功能

• 手繪動(dòng)畫集成：用戶能夠在視頻中添加具有手繪風(fēng)格的動(dòng)畫元素。
• 自動(dòng)化融合：動(dòng)畫與視頻內(nèi)容自動(dòng)融合，省去復(fù)雜的后期處理。
• 三維場(chǎng)景繪制：用戶可在三維空間中放置平面畫布，系統(tǒng)自動(dòng)渲染透視和遮擋效果。
• 關(guān)鍵幀控制：用戶可通過關(guān)鍵幀設(shè)置動(dòng)畫的起始和結(jié)束狀態(tài)，系統(tǒng)將自動(dòng)生成中間過程。
• 動(dòng)態(tài)物體跟蹤：專門設(shè)計(jì)的算法使得動(dòng)畫能隨視頻中的動(dòng)態(tài)物體移動(dòng)。

VideoDoodles的技術(shù)原理

• 視頻預(yù)處理：系統(tǒng)對(duì)輸入視頻進(jìn)行分析，提取每幀的攝像機(jī)姿態(tài)、深度圖和光流信息，為后續(xù)的動(dòng)畫合成奠定基礎(chǔ)。
• 平面畫布映射：用戶可以在三維空間中放置虛擬平面畫布，畫布可映射到視頻的特定區(qū)域。系統(tǒng)利用攝像機(jī)姿態(tài)和深度圖信息，自動(dòng)渲染出具有正確透視和遮擋效果的畫布。
• 跟蹤算法：采用自定義跟蹤算法，畫布能夠跟隨視頻中的靜態(tài)或動(dòng)態(tài)物體移動(dòng)。用戶可通過設(shè)置關(guān)鍵幀控制畫布的位置和方向，系統(tǒng)將自動(dòng)計(jì)算出最佳3D軌跡。
• 3D位置和方向跟蹤：
  • 位置跟蹤：基于關(guān)鍵幀的2D跟蹤算法，構(gòu)建有向圖來搜索物體的軌跡，確保畫布與物體的相對(duì)位置保持一致。
  • 方向跟蹤：用戶可在關(guān)鍵幀中指定畫布的旋轉(zhuǎn)矩陣，通過優(yōu)化算法保持畫布方向與物體方向一致。
• 自動(dòng)動(dòng)畫生成：用戶在關(guān)鍵幀繪制動(dòng)畫元素后，系統(tǒng)會(huì)自動(dòng)生成整個(gè)動(dòng)畫過程，無需逐幀繪制。
• 用戶界面設(shè)計(jì)：VideoDoodles提供了直觀的用戶界面，便于用戶選擇、繪制和調(diào)整動(dòng)畫元素。

VideoDoodles的項(xiàng)目地址

• GitHub倉(cāng)庫(kù)：https://github.com/adobe-research/VideoDoodles
• 技術(shù)論文：https://www-sop.inria.fr/reves/Basilic/2023/YBNWKB23/VideoDoodles.pdf

VideoDoodles的應(yīng)用場(chǎng)景

• 社交媒體內(nèi)容創(chuàng)作：用戶可以在社交媒體視頻中添加生動(dòng)的手繪動(dòng)畫，增強(qiáng)視頻的吸引力和互動(dòng)性。
• 教育視頻制作：教師或教育工作者可以為教學(xué)視頻加入動(dòng)畫，以更形象生動(dòng)的方式解釋復(fù)雜的概念或過程。
• 商業(yè)廣告：廣告制作者可以利用VideoDoodles為產(chǎn)品或服務(wù)制作引人注目的動(dòng)畫廣告，提升廣告的創(chuàng)意性和記憶點(diǎn)。
• 電影和視頻后期制作：視頻編輯者可以在電影或視頻后期制作中使用VideoDoodles，為作品增添獨(dú)特的視覺效果。

常見問題

• VideoDoodles支持哪些視頻格式？：目前，VideoDoodles支持多種常見視頻格式，包括MP4、AVI等。
• 我需要什么樣的設(shè)備來運(yùn)行VideoDoodles？：VideoDoodles可以在大多數(shù)現(xiàn)代計(jì)算機(jī)上運(yùn)行，但推薦使用具有較強(qiáng)圖形處理能力的設(shè)備以獲得更流暢的體驗(yàn)。
• 是否有學(xué)習(xí)資源可供參考？：是的，您可以在官方網(wǎng)站和GitHub頁面找到相關(guān)的文檔和教程，幫助您快速上手。