OneCAT – 美團聯合上交大推出的統一多模態模型

OneCAT是美團發布的一款性的統一多模態AI模型，它打破了傳統界限，將多模態理解、文本驅動的圖像生成以及圖像編輯功能融為一體， all in one。該模型采用純粹的解碼器架構，巧妙地摒棄了對外部視覺編碼器和分詞器的依賴，轉而運用獨創的模態專屬專家混合（MoE）結構和多尺度自回歸機制，實現了前所未有的高效多模態處理能力，尤其在高分辨率圖像的輸入與輸出方面表現卓越。通過其創新的尺度感知適配器和多模態多功能注意力機制，OneCAT進一步提升了視覺生成能力和跨模態的對齊精度。

OneCAT的核心優勢

OneCAT的核心亮點在于其高度集成的能力和創新的技術架構，使其在處理復雜的多模態任務時游刃有余。

• 深度多模態洞察：OneCAT無需依賴外部視覺組件，即可深度理解圖像與文本信息，在純解碼器框架內實現對圖文內容的細致洞察。
• 卓越的文本到圖像創作：能夠根據文字描述精準地生成高質量的圖像。其多尺度自回歸技術，能夠逐步細化圖像，從模糊到清晰，過程高效且效果驚艷。
• 靈活的圖像編輯能力：支持指令驅動的圖像編輯，將編輯指令與參考圖像結合，實現對圖像的局部或整體的精準調整，無需額外的模型修改。

OneCAT背后的技術革新

OneCAT之所以能夠實現上述功能，得益于其一系列先進的技術創新。

• 純解碼器Transformer架構：摒棄了對視覺變換器（ViT）等外部視覺模塊的依賴，大大簡化了模型結構，降低了計算負荷，尤其在處理高分辨率圖像時優勢顯著。
• 模態專精的MoE架構：模型內部擁有針對文本、連續視覺令牌和離散視覺令牌的專屬前饋網絡（FFN）專家，協同完成語言理解、多模態理解和圖像合成等任務。所有查詢、鍵、值（QKV）及注意力層在不同模態間共享，提高了參數效率和跨模態對齊能力。
• 多尺度視覺自回歸生成：將多尺度自回歸機制引入大型語言模型（LLM），通過粗粒度到細粒度的層次化方式生成圖像，顯著縮短了生成步驟，同時保持了頂尖的生成質量。
• 多模態自適應注意力機制：基于PyTorch FlexAttention，該機制能夠靈活適應不同模態和任務的需求。文本采用因果注意力，連續視覺令牌采用全注意力，而多尺度離散視覺令牌則通過塊狀因果注意力處理。

探索OneCAT的更多資源

對OneCAT感興趣的用戶，可以通過以下鏈接深入了解和體驗：

• 官方網站：https://onecat-ai.github.io/
• GitHub代碼庫：https://github.com/onecat-ai/onecat
• HuggingFace模型下載：https://huggingface.co/onecat-ai/OneCAT-3B
• 技術論文解讀：https://arxiv.org/pdf/2509.03498

OneCAT的廣闊應用前景

憑借其強大的多模態能力，OneCAT在眾多領域展現出巨大的應用潛力。

• 智能客戶服務與內容審查：OneCAT能高效處理用戶上傳的圖文信息，助力智能客服提供更精準的服務，同時也能自動識別和過濾不當的圖文內容，應用于內容審核場景。
• 創意設計與數字內容生產：其文本生成圖像功能為設計師和創作者提供了源源不斷的靈感，能夠快速產出符合創意需求的視覺素材，廣泛應用于廣告、影視特效、游戲開發等領域。
• 廣告營銷優化：在廣告行業，OneCAT可根據廣告文案快速生成配套圖像，提升設計效率，并能根據用戶偏好生成個性化廣告內容。
• 影視后期制作加速：OneCAT的圖像編輯能力可用于影視后期中的圖像修復、風格遷移、特效添加等環節，幫助制作團隊高效實現創意設想。
• 教育領域的視覺輔助：在教育領域，OneCAT能生成與教學內容相關的圖像，幫助學生更直觀地理解和記憶知識，例如為科學概念配圖或為歷史描繪場景。