ToonCrafter

ToonCrafter是一個(gè)由騰訊AI實(shí)驗(yàn)室、香港中文大學(xué)和香港城市大學(xué)的研究團(tuán)隊(duì)共同開發(fā)的開源卡通動畫視頻中間幀生成工具。它利用創(chuàng)新的生成式插值技術(shù)，只需提供兩張關(guān)鍵幀，就能自動生成流暢的中間動態(tài)幀，打破了傳統(tǒng)卡通動畫制作中線性的限制。與傳統(tǒng)的逐幀繪制方法相比，ToonCrafter顯著提高了創(chuàng)作效率，減少了動畫師的工作量，縮短了制作周期，同時(shí)保留了動畫的高質(zhì)量和創(chuàng)造性。

ToonCrafter是什么

ToonCrafter是一款開源的卡通動畫視頻插值工具，致力于簡化動畫制作流程，特別是在生成中間幀方面。通過突破傳統(tǒng)動畫制作中對線性的假設(shè)限制，ToonCrafter運(yùn)用先進(jìn)的生成式插值技術(shù)，僅需兩張關(guān)鍵幀，即可自動生成中間動態(tài)幀，從而實(shí)現(xiàn)流暢的動畫效果。該工具不僅提高了制作效率，還大幅減輕了動畫師的負(fù)擔(dān)，縮短了動畫制作時(shí)間，并保持了豐富的創(chuàng)意和高質(zhì)量的表現(xiàn)。

主要功能

• 生成式卡通插值：ToonCrafter利用深度學(xué)習(xí)技術(shù)，通過輸入的兩張關(guān)鍵幀圖片，自動推算并生成中間幀，創(chuàng)造出卡通動畫的平滑過渡和動態(tài)效果。此方法能夠有效模擬復(fù)雜的模式，包括角色動作和場景變化。
• 細(xì)節(jié)保持與增強(qiáng)：借助先進(jìn)的雙參考3D解碼器技術(shù)，ToonCrafter在生成新幀時(shí)確保圖像細(xì)節(jié)得以保留，甚至得到增強(qiáng)。這種機(jī)制尤其適合卡通動畫的需求，避免插值過程中細(xì)節(jié)模糊和失真。
• 草圖指導(dǎo)動畫：ToonCrafter配備草圖編碼器，允許用戶通過簡單的草圖輸入，指導(dǎo)動畫生成的過程。用戶可以指定動畫的某些特征，如角色的軌跡或特定風(fēng)格的突出，從而實(shí)現(xiàn)個(gè)性化效果。
• 遮擋區(qū)域處理：該工具能夠智能識別和處理動畫中的遮擋情況，并合理推斷被遮擋區(qū)域的和變化，生成符合視覺邏輯的幀。
• 多應(yīng)用場景：ToonCrafter適用于多種動畫創(chuàng)作場景，不僅可以生成完整的卡通視頻，還可以從卡通素描生成動畫，或?qū)ΜF(xiàn)有動畫進(jìn)行上色和風(fēng)格化處理，提供豐富的創(chuàng)作可能性。

產(chǎn)品官網(wǎng)

• 官方項(xiàng)目主頁：https://doubiiu.github.io/projects/ToonCrafter/
• GitHub代碼庫：https://github.com/ToonCrafter/ToonCrafter
• Hugging Face Demo：https://huggingface.co/spaces/Doubiiu/tooncrafter
• arXiv技術(shù)論文：https://arxiv.org/abs/2405.17933v1

應(yīng)用場景

ToonCrafter的應(yīng)用十分廣泛，不僅適合動畫制作人和藝術(shù)家進(jìn)行完整的卡通視頻制作，還可以用于教育、游戲開發(fā)和廣告創(chuàng)意等領(lǐng)域。它為動畫師提供了一個(gè)高效的工具，讓他們能夠?qū)Ｗ⒂趧?chuàng)意和內(nèi)容的表達(dá)，而不是繁瑣的制作流程。

常見問題

• ToonCrafter能否處理真實(shí)視頻？：目前，ToonCrafter主要針對卡通動畫的生成，盡管它能夠處理視頻中的模式，但主要的優(yōu)化和效果集中在卡通風(fēng)格的動畫上。
• 使用ToonCrafter需要專業(yè)知識嗎？：雖然ToonCrafter提供了強(qiáng)大的功能，但用戶可以通過簡單的草圖和設(shè)置輕松上手，無需高深的專業(yè)知識。
• 我可以在本地運(yùn)行ToonCrafter嗎？：是的，用戶可以按照提供的步驟在本地部署ToonCrafter，并通過命令行或Gradio UI進(jìn)行操作。

如何使用和體驗(yàn)ToonCrafter

方法一、在線版Demo體驗(yàn)

1. 訪問Hugging Face版的在線Demo，https://huggingface.co/spaces/Doubiiu/tooncrafter
2. 在Input Image添加輸入圖像
3. 輸入提示詞并調(diào)節(jié)Seed值、步長、FPS等
4. 最后點(diǎn)擊Generate按鈕進(jìn)行生成視頻

方法二、本地代碼部署

開發(fā)人員可以選擇本地部署和運(yùn)行ToonCrafter，具體步驟如下：

1. 獲取代碼：訪問ToonCrafter的項(xiàng)目頁面，或使用Git命令克隆或下載代碼到本地。git clone https://github.com/ToonCrafter/ToonCrafter.git
2. 環(huán)境準(zhǔn)備：通過Anaconda安裝所需的Python環(huán)境和依賴庫

   conda create -n tooncrafter python=3.8.5
   conda activate tooncrafter
   pip install -r requirements.txt

3. 下載預(yù)訓(xùn)練模型：下載預(yù)先訓(xùn)練好的ToonCrafter_512模型并將其model.ckpt放入checkpoints/tooncrafter_512_interp_v1/model.ckpt。
4. 命令行運(yùn)行 sh scripts/run.sh
5. 運(yùn)行本地Gradio版界面：你也可以選擇運(yùn)行本地Gradio UI，運(yùn)行指令 python gradio_app.py
6. 然后按照上方在線版的操作步驟輸入圖片并設(shè)置參數(shù)進(jìn)行生成即可