ToonComposer

ToonComposer官網

騰訊推出的AI自動上色和生成動畫工具，它能將動畫制作里“補幀”和“上色”這兩個步驟合并成“生成后原畫”階段，讓動畫制作流程變得更簡單。

網站提供：Ai工具箱，Ai開源項目，ToonComposer，Toon。

ToonComposer簡介

ToonComposer是騰訊推出的一款動畫生成工具，它能將動畫制作里“補幀”和“上色”這兩個步驟合并成“生成后原畫”階段，讓動畫制作流程變得更簡單。

ToonComposer功能特點

• 多方式輸入生成動畫：ToonComposer可以用文本、草圖或者圖片來生成動畫。比如輸入“貓咪穿著宇航服在月球上追蝴蝶”，就能生成包含多個分鏡的動畫腳本。

• 自動完善動畫細節：根據輸入的關鍵幀草圖和彩色參考幀，自動補全中間幀并上色，最終生成連貫的卡通視頻。

• 風格轉換與自定義：內置20多種常見卡通風格模板，能一鍵切換，也支持自定義風格。

• 動態編輯分鏡：通過拖拽分鏡卡片，可以調整順序、修改動作和鏡頭參數，實現直觀的編輯效果。

• 區域控制功能：可以指定空白區域，讓模型根據畫面其他部分生成合理內容，減少手動繪制的工作量。

技術優勢

• 稀疏草圖注入機制：借助位置編碼映射和位置感知殘差技術，把稀疏關鍵幀草圖精準融入模型，實現對時間的精確控制。

• 空間低秩適配器（SLRA）：調整模型的空間表現來適配卡通風格，同時保留時間上的連貫性，讓生成的動作更自然。

• 區域控制能力：能指定空白區域，讓模型依據上下文生成合適內容，減少人工繪制量。

ToonComposer使用方法

硬件與系統要求：需要配備NVIDIA GPU（顯存不低于16GB）、Python 3.10和PyTorch 2.6.0。

安裝步驟

git clone https://github.com/TencentARC/ToonComposer
cd ToonComposer
conda create -n tooncomposer python=3.10 -y
conda activate tooncomposer
pip install -r requirements.txt
pip install flash-attn==2.8.0.post2 --no-build-isolation

啟動界面 

運行命令：python app.py –device cuda:0 –resolution 480p ，然后在瀏覽器打開http://localhost:7860，就能看到Gradio界面。

界面操作

• 文本提示：輸入描述動畫內容的文字，例如“A girl with long hair waves her hand.” 。

• 彩色參考幀：上傳一張尺寸為480×480或者608×608的彩片，一般放在第0幀。

• 關鍵幀線稿：在時間軸上選好幀號，上傳對應的線稿，最少需要1張。

• 區域蒙版（可選）：用黑色筆刷在線稿上涂黑，讓模型自動生成該區域的內容。

• 高級設置：可以調整提示詞強度（CFG Scale）和線稿控制力（Position – aware Residual Scale）。

• 生成動畫：點擊“Generate”，等進度條走完，就能播放并下載生成的動畫。

優勢與效果

• 減少手工勞動：明顯降低了動畫制作里補幀和上色環節的手工工作量。

• 高質量生成：在多個測試中，ToonComposer在視覺質量、一致性和制作效率方面都比現有方法表現更好。

• 靈活性高：支持在任意時間點插入多張關鍵幀線稿，能實現更精細的控制。

應用場景

• 動畫制作

• 傳統卡通：快速生成中間幀和完成上色，減少手工勞動，提高制作效率。

• 在線與直播動畫：支持實時生成，適合在線卡通制作和直播動畫場景。

• 3D動畫：探索在3D動畫制作里的應用可能性。

• 教育領域：可以制作生動的教育動畫，幫助學生更直觀地理解復雜概念。

• 營銷與廣告：能快速生成動畫創意雛形，用于廣告制作。

• 游戲開發：可輔助游戲開發，快速生成角色和場景動畫，用于原型設計。

Github：https://github.com/TencentARC/ToonComposer

ToonComposer官網入口網址

https://lg-li.github.io/project/tooncomposer/

OpenI小編發現ToonComposer網站非常受用戶歡迎，請訪問ToonComposer網址入口試用。