WorldCraft

WorldCraft – 港科大推出的3D虛擬世界創建和定制系統

WorldCraft是什么

WorldCraft是由香港科技大學研發的一款基于大型語言模型（LLM）代理的3D世界構建與定制系統，旨在幫助用戶創建和個性化逼真的3D虛擬環境。通過自然語言交互，用戶能夠輕松生成復雜的室內外場景，并對場景中的物體和布局進行精細的調整。WorldCraft包括三個主要模塊：ForgeIt用于單個物體的定制，采用程序化生成技術實現幾何形狀和紋理的精準控制；ArrangeIt負責場景布局的生成，利用分層數值優化方法在功能與美學之間取得平衡；軌跡控制模塊則支持用戶通過對話指令控制物體和相機軌跡，從而生成動畫和視頻。WorldCraft兼容現有深度3D生成器，能豐富場景資產，使非專業用戶也能高效實現創意設計。

WorldCraft的主要功能

• 自然語言交互：用戶通過簡單的文本指令或對話形式創建和定制復雜的3D場景，無需具備3D建模的專業技能。
• 單個物體定制：用戶可以精確控制物體的幾何形狀、紋理和材質，實現個性化的設計。
• 場景布局生成：根據用戶的設計意圖（例如功能性與美觀要求），智能生成合理的物體布局。
• 場景動畫控制：用戶可利用自然語言描述物體或相機的軌跡，生成流暢的動畫和視頻。
• 兼容性與擴展性：系統支持與現有深度3D生成器（如Infinigen）結合，為場景增加藝術化的物體和細節，提升視覺效果。

WorldCraft的技術原理

• 協調代理（Coordinator Agent）：負責管理整個3D場景的生成過程，將復雜任務分解為多個子任務，并協調其他模塊完成這些任務，支持用戶與系統的多輪交互，以實時調整生成結果。
• 單個物體生成與定制：通過LLM代理操作程序化生成器（如Infinigen），用戶可用自然語言指令生成具有精準幾何形狀和PBR紋理的3D物體。系統建立動態更新的手冊，指導代理完成復雜生成任務，并支持多輪對話編輯。
• 場景布局優化：將場景布局問題轉化為分層數值優化問題，利用模擬退火算法來尋找最優布局。用戶可以用自然語言描述布局需求，從而將設計意圖轉化為優化目標和約束條件。
• 軌跡控制模塊：基于ChatCam擴展，允許用戶用自然語言描述物體或相機的軌跡，將這些描述轉化為具體的命令，以實現場景動畫的生成。
• 深度3D生成器集成：系統與現有的深度3D生成器兼容，豐富藝術化物體和場景細節。通過程序化生成與深度生成的結合，提升場景的視覺質量與多樣性。

WorldCraft的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2502.15601

WorldCraft的應用場景

• 建筑設計與室內設計：快速生成建筑概念模型和虛擬樣板間，基于自然語言定制室內布局與風格，優化設計流程，提高客戶體驗。
• 影視與娛樂：構建虛擬電影場景、游戲關卡及動畫電影中的復雜場景，降低實景搭建成本，為虛擬現實（VR）和增強現實（AR）體驗提供高度真實的虛擬環境。
• 教育與培訓：設計虛擬實驗室、歷史場景、地理環境和醫療培訓場景，利用沉浸式體驗增強學習效果，支持遠程教育與專業技能培訓。
• 產品設計與展示：快速生成產品概念模型與虛擬展廳，展示家具、汽車、電子設備等產品的設計，支持個性化定制和虛擬廣告場景的創建。
• 文化與藝術：創建虛擬博物館、藝術展覽、歷史建筑及文化節日場景，重現文化遺產，為藝術創作與文化體驗提供沉浸式空間。

常見問題

• WorldCraft是否易于上手？是的，WorldCraft通過自然語言交互使得用戶無需具備專業技能即可輕松創建3D場景。
• 我可以使用WorldCraft進行商業項目嗎？是的，WorldCraft支持商業用途，允許用戶利用其功能進行各種項目開發。
• WorldCraft的兼容性如何？WorldCraft與現有的深度3D生成器兼容，能夠與多種工具和平臺無縫集成。