CAD-MLLM：先進的計算機輔助設計模型生成系統

CAD-MLLM是由上海科技大學、Transcengram、DeepSeek AI和香港大合開發的一款創新型計算機輔助設計（CAD）模型生成系統。它能夠根據用戶提供的多種輸入形式（如文本描述、圖像、點云數據以及這些輸入的組合）生成參數化的CAD模型。該系統利用命令序列和大型語言模型（LLMs）對多模態數據進行對齊和處理，從而構建出完整的CAD模型。CAD-MLLM引入了一個名為Omni-CAD的大規模多模態數據集，并配備了新的評估指標，以全面評估生成模型的拓撲質量和表面封閉程度。其性能超越了現有的技術方法，展現出對數據缺陷的高度魯棒性。

CAD-MLLM的主要功能

• 多模態輸入處理：能夠處理文本描述、圖像和點云等多種輸入形式，基于這些信息生成CAD模型。
• 參數化CAD模型生成：系統支持生成可進行編輯和調整的參數化CAD模型。
• 數據集構建與注釋：引入Omni-CAD數據集，包含文本描述、多視圖圖像、點云及其對應的CAD命令序列。
• 創新的評估指標：通過新的評估標準，來評估生成CAD模型的拓撲質量和表面完整性。
• 魯棒性：在處理噪聲和缺失數據方面表現出卓越的魯棒性。
• 交互式設計：用戶可通過簡單的指令和插圖輕松設計CAD模型，使非專業人士也能實現設計想法。

CAD-MLLM的技術原理

• 命令序列表示：將CAD模型的命令序列向量化，以適應大型語言模型（LLMs）的學習需求。
• 多模態數據對齊：運用先進的LLMs對不同模態數據與CAD模型的向量表示進行對齊，使模型能夠理解和處理多種輸入。
• 網絡架構：網絡架構包括視覺數據對齊、點數據對齊和大型語言模型三個模塊，支持跨模態輸入。
• 共享特征空間：非文本輸入通過凍結的編碼器處理后，利用投影層將特征對齊到共享的LLM特征空間。
• 低秩適應（LoRA）微調：基于整合提示與多模態嵌入，應用低秩適應（LoRA）技術對LLM進行微調，從而生成精準的CAD模型。
• 數據增強方法：提出數據注釋流程和數據增強方法，生成新的多模態條件CAD數據集Omni-CAD。

產品官網

• 項目官網：cad-mllm.github.io
• arXiv技術論文：https://arxiv.org/pdf/2411.04954

CAD-MLLM的應用場景

• 工業設計與制造：幫助設計師和工程師快速生成和修改復雜的工業產品CAD模型，從而加速產品開發流程。
• 建筑與工程：使建筑師和結構工程師能夠從現場照片或地形數據生成精確的CAD圖紙，提高設計和規劃效率。
• 汽車行業：汽車制造商可從概念草圖或描述中生成精確的汽車零部件CAD模型，優化設計和制造流程。
• 航空航天：在航空航天領域，通過復雜的設計要求和性能參數生成飛機和航天器的零部件及結構的CAD模型。
• 教育與培訓：降低學生和新手的學習曲線，提高教學效果。

常見問題

• CAD-MLLM支持哪些輸入格式？：系統支持文本描述、圖像、點云等多種輸入形式。
• 生成的CAD模型是否可以編輯？：是的，CAD-MLLM創建的模型是參數化的，用戶可以對其進行編輯和調整。
• 如何評估生成的CAD模型質量？：CAD-MLLM引入了新的評估指標，專門用于評估模型的拓撲質量和表面封閉程度。
• 該系統適用于哪些行業？：CAD-MLLM廣泛應用于工業設計、建筑與工程、汽車制造、航空航天等多個行業。