Sketch2Anim

Sketch2Anim – 愛丁堡大學(xué)等機(jī)構(gòu)推出的2D草圖轉(zhuǎn)3D動(dòng)畫框架

Sketch2Anim是什么

Sketch2Anim是由愛丁堡大學(xué)與Snap Research、東北大合開發(fā)的一種自動(dòng)化框架，旨在將2D草圖故事板迅速轉(zhuǎn)化為高質(zhì)量的3D動(dòng)畫。該框架基于條件合成技術(shù)，通過3D關(guān)鍵姿勢(shì)、關(guān)節(jié)軌跡和動(dòng)作詞的精確控制來實(shí)現(xiàn)動(dòng)畫的生成。其包含兩個(gè)核心模塊：多條件生成器與2D、3D神經(jīng)映射器。Sketch2Anim能夠生成自然流暢的3D動(dòng)畫，并支持交互式編輯，顯著提升了動(dòng)畫制作的效率和靈活性。

Sketch2Anim的主要功能

• 自動(dòng)化轉(zhuǎn)換：快速將2D草圖故事板轉(zhuǎn)化為3D動(dòng)畫，簡(jiǎn)化手動(dòng)制作過程。
• 高品質(zhì)動(dòng)畫：生成順暢、自然的3D動(dòng)畫，支持多個(gè)片段之間的平滑過渡。
• 交互式編輯：用戶可以實(shí)時(shí)調(diào)整生成的動(dòng)畫，例如修改關(guān)鍵姿勢(shì)或軌跡，以增強(qiáng)設(shè)計(jì)的靈活性。
• 效率提升：自動(dòng)化流程顯著提高了動(dòng)畫制作的效率，支持快速的設(shè)計(jì)迭代。

Sketch2Anim的技術(shù)原理

• 多條件生成器：基于擴(kuò)散模型，結(jié)合軌跡ControlNet和關(guān)鍵姿勢(shì)適配器。軌跡ControlNet負(fù)責(zé)將關(guān)節(jié)軌跡嵌入擴(kuò)散模型中，從而控制全局動(dòng)態(tài)，而關(guān)鍵姿勢(shì)適配器則在此基礎(chǔ)上進(jìn)一步細(xì)化局部靜態(tài)姿勢(shì)，確保生成的動(dòng)畫準(zhǔn)確符合輸入的關(guān)鍵姿勢(shì)。
• 2D-3D神經(jīng)映射器：包含2D與3D的關(guān)鍵姿勢(shì)和軌跡編碼器，在共享的嵌入空間中對(duì)齊2D草圖和3D約束，從而實(shí)現(xiàn)直接的2D到3D動(dòng)畫控制。
• 融合與優(yōu)化：通過確定性DDIM逆過程和引導(dǎo)去噪，將多個(gè)動(dòng)畫片段進(jìn)行平滑過渡，生成完整的動(dòng)畫。借助分類器引導(dǎo)和二階優(yōu)化方法，進(jìn)一步優(yōu)化生成的動(dòng)畫，使其更符合輸入的2D條件。
• 數(shù)據(jù)處理與增強(qiáng)：利用HumanML3D數(shù)據(jù)集進(jìn)行訓(xùn)練，包含14,646個(gè)動(dòng)作及44,970個(gè)相應(yīng)的注釋。通過相機(jī)視角增強(qiáng)、關(guān)節(jié)擾動(dòng)和身體比例擾動(dòng)，生成多樣化的2D關(guān)鍵姿勢(shì)和軌跡，以提升模型的泛化能力。

Sketch2Anim的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://zhongleilz.github.io/Sketch2Anim/
• arXiv技術(shù)論文：https://arxiv.org/pdf/2504.19189

Sketch2Anim的應(yīng)用場(chǎng)景

• 影視動(dòng)畫：用于影視制作的前期預(yù)覽，提升制作效率。
• 游戲開發(fā)：加速游戲動(dòng)作設(shè)計(jì)和劇情動(dòng)畫的制作過程。
• 廣告宣傳：將創(chuàng)意草圖轉(zhuǎn)變?yōu)?D動(dòng)畫廣告，增強(qiáng)視覺吸引力，吸引觀眾的注意。
• 教育培訓(xùn)：幫助學(xué)生更好地理解復(fù)雜的知識(shí)內(nèi)容。
• VR/AR應(yīng)用：將2D草圖直接轉(zhuǎn)換為沉浸式3D動(dòng)畫，豐富虛擬場(chǎng)景體驗(yàn)。

常見問題

• Sketch2Anim適合哪些用戶使用？：Sketch2Anim適合動(dòng)畫制作人員、游戲開發(fā)者、廣告創(chuàng)意人員以及教育工作者等各種用戶。
• 使用Sketch2Anim需要哪些技能？：用戶不需要專業(yè)的動(dòng)畫制作技能，但了解基本的動(dòng)畫概念將有助于更好地使用該工具。
• Sketch2Anim支持哪些平臺(tái)？：該框架設(shè)計(jì)為跨平臺(tái)使用，具體支持情況可參考項(xiàng)目官網(wǎng)。
• Sketch2Anim的輸出格式是什么？：生成的3D動(dòng)畫可導(dǎo)出為多種常見的動(dòng)畫文件格式，具體可在項(xiàng)目官網(wǎng)查看。