MiMo-VL – 小米開源的多模態大模型

MiMo-VL 是小米公司傾力打造的開源多模態大模型，集視覺編碼、跨模態交互與語言理解于一身。它基于 Qwen2.5-ViT 視覺編碼器、小米自研 MiMo-7B 語言模型，并輔以創新的多階段預訓練策略和混合在線強化學習，在復雜圖片推理、GUI 操作、視頻理解等任務上展現出卓越性能。

MiMo-VL：開啟多模態智能新篇章

MiMo-VL，這款由小米傾力打造的開源多模態大模型，匯聚了視覺編碼器、跨模態投影層和語言模型的強大功能。其視覺編碼器以 Qwen2.5-ViT 為基礎，語言模型則采用了小米自主研發的 MiMo-7B。通過精細的多階段預訓練策略，MiMo-VL 汲取了高達 2.4T tokens 的多模態數據精華，并借助混合在線強化學習（MORL）持續提升性能。在測評中，MiMo-VL 展現出令人矚目的實力，在 MMMU-val 榜單上以 66.7% 的得分超越了 Gemma 3 27B 模型，在 OlympiadBench 榜單上更是以 59.4% 的成績力壓 72B 模型。

核心功能一覽

• 圖像深度解讀與問答：能夠深入理解復雜圖像內容，并給出精準的解釋與解答。
• GUI 操控與交互：支持長達 10 步以上的 GUI 操作，輕松駕馭復雜的圖形用戶界面指令。
• 視頻內容理解：具備視頻內容分析能力，結合語言實現推理與問答。
• 長文檔處理與分析：能夠處理長篇文檔，進行深度的推理和分析。
• 用戶體驗優化：借助混合在線強化學習算法（MORL），全面提升推理能力、感知能力和用戶體驗。

技術內核解析

• 視覺編碼器：采用 Qwen2.5-ViT 技術，支持原生分辨率輸入，保留圖像細節。
• 跨模態投影層：運用 MLP 結構，實現視覺與語言特征的完美對齊。
• 語言模型：搭載小米自研的 MiMo-7B 基礎模型，專為復雜推理任務量身定制。
• 多階段預訓練：通過收集、清洗、整合高質量的預訓練多模態數據，涵蓋圖文、視頻-文本、GUI 操作序列等多種類型，總計 2.4T tokens。通過分階段調整不同類型數據的比例，強化長程多模態推理的能力。
• 四階段預訓練流程：
  • 投影層預熱：使用圖文對數據，序列長度為 8K。
  • 視覺-語言對齊：使用圖文交錯數據，序列長度為 8K。
  • 多模態預訓練：使用 OCR/視頻/GUI/推理數據，序列長度為 8K。
  • 長上下文 SFT：使用高分辨率圖像/長文檔/長推理鏈，序列長度為 32K。

官方資源

• 項目代碼庫：https://github.com/XiaomiMiMo/MiMo-VL
• HuggingFace 模型庫：https://huggingface.co/collections/XiaomiMiMo/mimo-vl

應用前景展望

• 智能客服：為用戶提供更智能、便捷的服務，例如完成復雜的圖片推理和問答任務。
• 智能家居：通過理解家庭照片、視頻等多媒體數據，實現 GUI Grounding 任務，提升人機交互體驗。
• 智慧醫療：輔助醫生進行診斷和治療，通過理解醫學圖像和文本。
• 教育領域：輔助數學解題和編程學習，提供解題步驟和代碼示例。
• 科研與學術：協助邏輯推理和算法開發，幫助研究人員驗證假設和設計實驗。

常見問題解答

（此處可根據用戶反饋和實際使用情況，補充常見問題及解答，例如：如何獲取 MiMo-VL 模型？如何進行模型微調？ MiMo-VL 的硬件要求是什么？等等）