TANGLED

TANGLED – 上海科大聯(lián)合華中科大等推出的3D發(fā)型生成方法

TANGLED是什么

TANGLED是由上海科技大學(xué)、Deemos Technology和華中科技大學(xué)共同研發(fā)的一種創(chuàng)新型3D發(fā)型生成技術(shù)，能夠從各種風(fēng)格和角度的圖像中生成高質(zhì)量的3D發(fā)絲。該技術(shù)通過三個核心步驟實現(xiàn)：首先，利用多樣性的MultiHair數(shù)據(jù)集提供豐富的發(fā)型樣本；其次，借助多視圖線稿的擴散框架，通過線稿特征的交叉注意力機制捕捉發(fā)型的拓撲結(jié)構(gòu)；最后，采用參數(shù)化后處理模塊修復(fù)復(fù)雜發(fā)型（如辮子）的細節(jié)。TANGLED不僅提升了發(fā)型的真實感和多樣性，還支持文化包容性數(shù)字角色的創(chuàng)建，為動畫和增強現(xiàn)實等領(lǐng)域開辟了新的應(yīng)用可能。

TANGLED

TANGLED的主要功能

多樣化發(fā)型生成：能夠處理各種復(fù)雜發(fā)型，包括辮子、卷發(fā)和傳統(tǒng)發(fā)型等。
支持多視圖輸入：接受單視圖或多視圖圖像作為輸入，靈活應(yīng)對不同需求。
靈活的輸入風(fēng)格：支持多種輸入形式，如照片、手繪草圖、卡通和油畫，滿足不同應(yīng)用場景的需求。
文化包容性：特別關(guān)注那些未被充分代表的發(fā)型紋理（如卷曲和辮子），致力于生成具有文化意義的發(fā)型。
高效集成：生成的3D發(fā)型可以直接嵌入現(xiàn)有的計算機圖形流程中，如Blender和Unreal Engine。

TANGLED的技術(shù)原理

NeuraPressMultiHair數(shù)據(jù)集：包含457種多樣化的發(fā)型，標注了74個屬性，重點關(guān)注復(fù)雜和具有文化意義的發(fā)型。數(shù)據(jù)集通過多視圖渲染和線稿提取增強多樣性，同時用GPT-4生成詳細的文本標注。
擴散框架：基于多視圖線稿的擴散模型，線稿特征用于捕捉發(fā)型的拓撲結(jié)構(gòu)（如發(fā)絲密度和分界線）。通過DINOv2提取線稿特征，并利用交叉注意力機制將其整合到擴散模型中，隨機混合不同視角的線稿特征，提高模型對多種輸入風(fēng)格和視角的適應(yīng)性。
參數(shù)化后處理模塊：針對復(fù)雜發(fā)型（如辮子）設(shè)計的參數(shù)化建模和修復(fù)技術(shù)。利用Frenet-Serret框架生成辮子的幾何結(jié)構(gòu)，并基于注意力機制自然融入發(fā)型中。同時，應(yīng)用Laplacian平滑技術(shù)減少高頻噪聲，確保發(fā)型的幾何連貫性和視覺效果。