SimpleAR

SimpleAR – 復旦大合字節 Seed 團隊推出的圖像生成模型

SimpleAR 是由復旦大學視覺與學習實驗室和字節 Seed 團隊共同研發的一款純自回歸圖像生成模型。該模型通過簡潔的自回歸架構，結合優化的訓練與推理流程，實現了高效且高質量的圖像生成。僅憑 5 億個參數，SimpleAR 就能夠生成分辨率高達 1024×1024 的圖像，并在 GenEval 等多個基準測試中表現出色。

SimpleAR是什么

SimpleAR 是一款創新的純自回歸圖像生成模型，由復旦大學視覺與學習實驗室與字節 Seed 團隊聯合推出。其獨特的自回歸架構，經過優化的訓練和推理過程，使其能夠生成高分辨率的圖像。SimpleAR 僅用 5 億參數便能高效生成 1024×1024 的圖像，并在 GenEval 等基準測試中取得了0.59的優異成績。該模型采用“預訓練 – 有監督微調 – 強化學習”的三階段訓練方法，有效提升了文本理解和圖像生成的效果。同時，SimpleAR 也兼容現有的加速技術，使得推理時間縮短到 14 秒以內。

SimpleAR的主要功能

• 高質量文本到圖像生成：SimpleAR 作為一個純自回歸的視覺生成框架，能夠生成高達 1024×1024 分辨率的高質量圖像，且在 GenEval 等基準測試中取得了 0.59 的優異成績。
• 多模態融合生成：該模型將文本和視覺 token 在一個統一的 Transformer 架構中平等對待，支持多模態建模，從而更有效地進行文本指導下的圖像生成。

SimpleAR的技術原理

• 自回歸生成機制：SimpleAR 采用經典的自回歸生成方式，通過逐步預測“下一個 token”的形式生成圖像。這種方法將圖像拆分為一系列離散的 token，并逐個進行預測，以構建完整的圖像。
• 多模態融合：該模型將文本編碼與視覺生成整合在一個 decoder-only 的 Transformer 架構中，提升了參數利用效率，支持文本與視覺模態的聯合建模，使模型能夠更自然地理解和生成與文本描述相符的圖像。
• 三階段訓練方法：
  • 預訓練：通過大規模數據集進行預訓練，學習通用的視覺和語言模式。
  • 有監督微調（SFT）：在預訓練基礎上，采用有監督學習進一步提升生成質量和指令的遵循能力。
  • 強化學習（GRPO）：基于簡單的獎勵函數（如 CLIP）進行后續訓練，優化生成內容的美學與多模態對齊。
• 推理加速技術：SimpleAR 通過 vLLM 等技術優化推理過程，將圖像生成時間顯著縮短，0.5B 參數的模型能夠在 14 秒內生成 1024×1024 分辨率的高質量圖像。
• 視覺 tokenizer 的選擇：SimpleAR 使用 Cosmos 作為視覺 tokenizer，但在低分辨率圖像和細節重建方面仍存在一定局限性，有待進一步改進。

SimpleAR的項目地址

• Github倉庫：https://github.com/wdrink/SimpleAR
• HuggingFace模型庫：https://huggingface.co/papers/2504.11455
• arXiv技術論文：https://arxiv.org/pdf/2504.11455

SimpleAR的應用場景

• 創意設計：SimpleAR 能夠幫助設計師快速生成高質量的圖像，適用于廣告設計、海報制作和藝術創作等領域。
• 虛擬場景構建：通過文本描述生成虛擬場景，為游戲開發、虛擬現實（VR）和增強現實（AR）應用提供豐富的素材。
• 多模態機器翻譯：SimpleAR 的多模態融合能力可將圖像信息與文本翻譯相結合，提高翻譯的準確性和豐富性。
• 視頻描述生成：通過結合圖像生成與視頻內容，為視頻生成詳細的描述文本。
• 增強現實（AR）與虛擬現實（VR）：SimpleAR 可以生成與現實場景高度融合的虛擬圖像，適用于工業維修、教育演示和旅游導覽等場景，提升用戶體驗。
• 圖像增強與修復：SimpleAR 可用于增強低分辨率圖像的細節，提高圖像質量，并通過生成缺失或損壞部分的圖像內容實現修復。