GeneMAN是一款由上海AI實驗室、北京大學、南洋理工大學和上海交通大合開發的3D人形創建框架，能夠從單張圖片中生成高保真的3D人體模型。該框架不依賴傳統的參數化人體模型，而是利用大量高質量的人類數據集，包括3D掃描、多視角視頻、單張照片和合成數據，來訓練人類特定的2D和3D先驗模型。

GeneMAN是什么

GeneMAN是一個先進的3D人形創建框架，由上海AI實驗室與多所頂尖高校聯合研發。它的主要功能是從一張普通的圖片中生成高保真的3D人體模型。該框架通過結合多種高質量的數據集，包括3D掃描、多視角視頻以及單張照片，訓練出人類特定的2D和3D先驗模型。GeneMAN采用幾何初始化、雕刻流程和多空間紋理細化技術，實現了從自然環境的圖像中提取高質量3D人體模型的能力，能夠適應不同的人體比例、姿勢和服裝。

GeneMAN的主要功能

• 處理多樣化的人體比例：無論是全身、半身還是特寫，GeneMAN均能生成相應的3D模型。
• 適應不同的服裝和姿勢：能夠處理多種服裝設計和各種姿勢，包括自然姿勢及常見物品的使用。
• 處理野外圖像：特別擅長處理自然環境下的圖像，這些圖像通常包含復雜背景和多變的光照條件。
• 生成高質量的紋理：通過多空間紋理細化流程，GeneMAN能夠生成與輸入圖像細節一致的高質量3D人體紋理。

GeneMAN的技術原理

• 2D和3D人類先驗模型訓練：
  • 文本到圖像擴散模型：用于生成2D人類先驗的訓練模型。
  • 視圖條件擴散模型：用于生成3D人類先驗的訓練模型。
• 幾何初始化與雕刻流程：
  • 無模板幾何初始化：采用NeRF（神經輻射場）技術生成無模板的3D幾何形狀。
  • 結合先驗與損失：利用GeneMAN的2D和3D先驗及結構化差異損失（SDS損失）來引導幾何初始化。
  • 參考損失：確保生成的3D模型與輸入圖像的對齊。
  • 高分辨率細化：將NeRF生成的模型轉換為DMTet（深度多面體網格），進行高分辨率的幾何細化。
• 多空間紋理細化流程：
  • 粗紋理生成：通過多視圖紋理技術生成初步紋理。
  • 潛在空間細化：在潛在空間中對紋理進行迭代細化。
  • 像素空間細化：利用優化UV圖在像素空間中獲得細致紋理，基于2D先驗的ControlNet進行優化。

GeneMAN的項目地址

• 項目官網：roooooz.github.io/GeneMAN
• GitHub倉庫：https://github.com/roooooz/GeneMAN（即將開源）
• arXiv技術論文：https://arxiv.org/pdf/2411.18624

GeneMAN的應用場景

• 虛擬試衣：用戶只需上傳自己的全身照片，GeneMAN便可生成3D模型，幫助用戶在線試穿服裝，提升試衣體驗的真實感。
• 游戲和娛樂：在游戲和影視制作中，GeneMAN可用于創建或修改角色模型，實現更個性化、逼真的角色設計。
• 增強現實（AR）和虛擬現實（VR）：在AR和VR應用中，生成用戶的3D化身，增強沉浸感和交互性。
• 時尚設計：設計師能夠快速將設計草圖轉化為3D模型，加快設計流程。
• 健身和健康管理：通過分析用戶的3D模型，GeneMAN能夠提供個性化的健身指導和健康建議。

常見問題

• GeneMAN支持哪些類型的圖片？：GeneMAN可以處理多種類型的圖片，包括全身照、半身照和特寫照片。
• 生成的3D模型可以用于什么用途？：生成的3D模型可以廣泛應用于虛擬試衣、游戲角色設計、增強現實等多個領域。
• 如何訪問GeneMAN的開源代碼？：用戶可以訪問GeneMAN的GitHub倉庫，獲取即將開源的代碼。