Xiaomi-MiMo-Audio

Xiaomi-MiMo-Audio – 小米開源的端到端語音大模型

核心觀點與關鍵信息

Xiaomi-MiMo-Audio是小米推出的首款原生端到端開源語音大模型，憑借創新預訓練架構和海量數據，在語音領域首次實現 In-Context Learning（ICL）的少樣本泛化能力，打破了對大規模標注數據的依賴。該模型在多項評測中超越同參數量開源模型，甚至在音頻理解和復雜推理任務上媲美甚至超越了Google Gemini-2.5-Flash和OpenAI GPT-4o-Audio-Preview。

小米開源了MiMo-Audio-7B-Base（預訓練模型）、MiMo-Audio-7B-Instruct（指令微調模型）以及1.2B參數量的Tokenizer模型，支持音頻重建和音頻轉文本（A2T）。其主要亮點包括強大的少樣本泛化、跨模態對齊、卓越的語音理解與生成能力、先進的音頻復雜推理、首個具備語音續寫能力的開源模型，以及支持混合思考機制。

項目提供官網、Github倉庫、HuggingFace模型庫及技術論文等資源，應用場景廣泛，涵蓋語音交互、語音生成、語音轉文本、音頻內容創作、情感表達以及語音識別與理解等領域。

Xiaomi-MiMo-Audio：小米語音大模型開創先河

Xiaomi-MiMo-Audio，作為小米在人工智能領域的一項重要突破，標志著其首個原生端到端語音大模型的問世。這款模型并非僅僅是技術的迭代，更是對語音AI領域固有模式的一次顛覆。它以創新的預訓練架構為基石，融合了上億小時的豐富訓練數據，首次在語音領域成功引入了In-Context Learning（ICL）的少樣本泛化能力。這一成就極大地緩解了語音技術長期以來對海量標注數據的依賴，為語音AI的普惠化和快速發展鋪平了道路。

在性能表現上，Xiaomi-MiMo-Audio的表現令人矚目。在多項權威評測基準中，它大幅超越了同等參數量的開源模型，在7B參數量級別達到了新的標桿。尤為突出的是，在音頻理解的MMAU標準測試集上，它超越了Google的Gemini-2.5-Flash；而在音頻復雜推理的Big Bench Audio S2T任務中，其表現甚至超越了OpenAI的GPT-4o-Audio-Preview。小米此次開源了包括預訓練模型MiMo-Audio-7B-Base、指令微調模型MiMo-Audio-7B-Instruct，以及一個1.2B參數量的Tokenizer模型，為開發者提供了強大的工具集，支持音頻重建和音頻轉文本（A2T）等核心任務。

Xiaomi-MiMo-Audio的獨特優勢

卓越的少樣本學習能力：Xiaomi-MiMo-Audio在語音領域首次實現了基于ICL的少樣本泛化。這意味著模型能夠以極少的示例快速適應新的任務，如同語音領域的“GPT-3時刻”到來，極大地提升了模型的靈活性和實用性。
深度融合的跨模態對齊：通過精細的后訓練，模型在智商、情商、表現力及安全性等方面展現出強大的跨模態對齊能力。其語音對話效果高度擬人化，在自然度、情感表達和交互適應性上均表現出色。
全方位的語音處理能力：在通用語音理解、對話等多個評估基準上，Xiaomi-MiMo-Audio不僅大幅領先同參數量開源模型，更在7B參數量級別創造了新的性能紀錄，甚至在一些閉源語音模型上也取得了超越。
強大的音頻復雜推理能力：在專門針對音頻復雜推理設計的Big Bench Audio S2T任務中，模型表現出非凡的能力，能夠深入理解和處理復雜的音頻信息。
首創語音續寫功能：MiMo-Audio-7B-Base作為開源領域首個具備語音續寫能力的語音模型，為內容創作和交互式應用帶來了新的可能性。
引入混合思考機制：Xiaomi-MiMo-Audio是首個將“Thinking”機制同時整合到語音理解和語音生成過程中的開源模型，支持混合思考，從而提升了模型的深度推理能力。
高效的音頻轉文本支持：其Tokenizer模型能夠高效處理音頻轉文本（A2T）任務，并且覆蓋了海量語音數據，為語音轉寫應用提供了堅實的基礎。

Xiaomi-MiMo-Audio的技術精髓

革新性的預訓練架構：模型采用了前沿的預訓練架構，并結合了上億小時的龐大訓練數據集，使其能夠更精準、更有效地處理海量的語音數據，捕捉語音的細微之處。
突破性的少樣本泛化：通過在語音領域首次實現ICL少樣本泛化，模型能夠僅憑少量樣本就快速掌握新任務，展現出極高的適應性和學習效率。
精妙的跨模態對齊調優：經過后訓練的調優，模型在情感、智能、表現力以及安全性等多個維度上實現了跨模態的深度對齊，使得語音交互更加生動、真實、貼心。
無損壓縮與涌現行為探索：通過語音無損壓縮預訓練，模型實現了跨任務的泛化性，并揭示了語音領域中“涌現”行為的存在，為理解AI能力邊界提供了新視角。
定制化Transformer Tokenizer：專為語音任務設計的1.2B參數量Transformer架構Tokenizer模型，從零開始訓練，覆蓋千萬小時語音數據，完美支持音頻重建和音頻轉文本（A2T）兩大核心功能。
高效輕量級后訓練：采用輕量化的監督微調（SFT）策略，進一步優化模型在語音理解和生成方面的表現，使其在實際應用中更加出色。
創新的混合思考整合：將“Thinking”機制巧妙地融入語音理解和生成過程，支持混合思考，顯著增強了模型在處理復雜任務時的推理能力。

Xiaomi-MiMo-Audio的項目資源一覽

官方項目網站：https://xiaomimimo.github.io/MiMo-Audio-Demo/
GitHub代碼倉庫：https://github.com/XiaomiMiMo/MiMo-Audio
HuggingFace模型庫（提供模型下載與使用）
- MiMo-Audio-7B-Base（預訓練模型）：https://huggingface.co/XiaomiMiMo/MiMo-Audio-7B-Base
- MiMo-Audio-7B-Instruct（指令微調模型）：https://huggingface.co/XiaomiMiMo/MiMo-Audio-7B-Instruct
- XiaomiMiMo/MiMo-Audio-Tokenizer：https://huggingface.co/XiaomiMiMo/MiMo-Audio-Tokenizer
詳細技術報告：https://github.com/XiaomiMiMo/MiMo-Audio/blob/main/MiMo-Audio-Technical-Report.pdf