TANGLED – 上海科大聯(lián)合華中科大等推出的3D發(fā)型生成方法

TANGLED是什么

TANGLED是由上海科技大學(xué)、Deemos Technology和華中科技大學(xué)共同研發(fā)的一種創(chuàng)新型3D發(fā)型生成技術(shù)，能夠從各種風(fēng)格和角度的圖像中生成高質(zhì)量的3D發(fā)絲。該技術(shù)通過(guò)三個(gè)核心步驟實(shí)現(xiàn)：首先，利用多樣性的MultiHair數(shù)據(jù)集提供豐富的發(fā)型樣本；其次，借助多視圖線稿的擴(kuò)散框架，通過(guò)線稿特征的交叉注意力機(jī)制捕捉發(fā)型的拓?fù)浣Y(jié)構(gòu)；最后，采用參數(shù)化后處理模塊修復(fù)復(fù)雜發(fā)型（如辮子）的細(xì)節(jié)。TANGLED不僅提升了發(fā)型的真實(shí)感和多樣性，還支持文化包容性數(shù)字角色的創(chuàng)建，為動(dòng)畫和增強(qiáng)現(xiàn)實(shí)等領(lǐng)域開(kāi)辟了新的應(yīng)用可能。

TANGLED的主要功能

• 多樣化發(fā)型生成：能夠處理各種復(fù)雜發(fā)型，包括辮子、卷發(fā)和傳統(tǒng)發(fā)型等。
• 支持多視圖輸入：接受單視圖或多視圖圖像作為輸入，靈活應(yīng)對(duì)不同需求。
• 靈活的輸入風(fēng)格：支持多種輸入形式，如照片、手繪草圖、卡通和油畫，滿足不同應(yīng)用場(chǎng)景的需求。
• 文化包容性：特別關(guān)注那些未被充分代表的發(fā)型紋理（如卷曲和辮子），致力于生成具有文化意義的發(fā)型。
• 高效集成：生成的3D發(fā)型可以直接嵌入現(xiàn)有的計(jì)算機(jī)圖形流程中，如Blender和Unreal Engine。

TANGLED的技術(shù)原理

• NeuraPressMultiHair數(shù)據(jù)集：包含457種多樣化的發(fā)型，標(biāo)注了74個(gè)屬性，重點(diǎn)關(guān)注復(fù)雜和具有文化意義的發(fā)型。數(shù)據(jù)集通過(guò)多視圖渲染和線稿提取增強(qiáng)多樣性，同時(shí)用GPT-4生成詳細(xì)的文本標(biāo)注。
• 擴(kuò)散框架：基于多視圖線稿的擴(kuò)散模型，線稿特征用于捕捉發(fā)型的拓?fù)浣Y(jié)構(gòu)（如發(fā)絲密度和分界線）。通過(guò)DINOv2提取線稿特征，并利用交叉注意力機(jī)制將其整合到擴(kuò)散模型中，隨機(jī)混合不同視角的線稿特征，提高模型對(duì)多種輸入風(fēng)格和視角的適應(yīng)性。
• 參數(shù)化后處理模塊：針對(duì)復(fù)雜發(fā)型（如辮子）設(shè)計(jì)的參數(shù)化建模和修復(fù)技術(shù)。利用Frenet-Serret框架生成辮子的幾何結(jié)構(gòu)，并基于注意力機(jī)制自然融入發(fā)型中。同時(shí)，應(yīng)用Laplacian平滑技術(shù)減少高頻噪聲，確保發(fā)型的幾何連貫性和視覺(jué)效果。

TANGLED的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://sites.google.com/view/tangled
• arXiv技術(shù)論文：https://arxiv.org/pdf/2502.06392v1

TANGLED的應(yīng)用場(chǎng)景

• 文化包容性虛擬角色創(chuàng)建：生成多樣化發(fā)型，支持來(lái)自不同文化背景的虛擬角色設(shè)計(jì)。
• 動(dòng)畫發(fā)型設(shè)計(jì)：從草圖生成3D發(fā)型，顯著提升動(dòng)畫制作效率。
• 增強(qiáng)現(xiàn)實(shí)（AR）發(fā)型預(yù)覽：結(jié)合AR技術(shù)，讓用戶能夠虛擬試戴各種發(fā)型。
• 虛擬試妝應(yīng)用：幫助用戶在購(gòu)買前預(yù)覽發(fā)型效果，提升用戶體驗(yàn)。
• 基于草圖的3D發(fā)絲編輯：通過(guò)修改草圖快速調(diào)整發(fā)型，適用于創(chuàng)意設(shè)計(jì)領(lǐng)域。