Xiaomi MiMo

Xiaomi MiMo – 小米開源的首個(gè)推理大模型

Xiaomi MiMo

Xiaomi MiMo 是小米推出的首個(gè)開源推理大模型，旨在顯著提升復(fù)雜推理任務(wù)的性能。該模型依托聯(lián)動預(yù)訓(xùn)練與后訓(xùn)練的策略，深入挖掘豐富的推理語料，并采用創(chuàng)新的強(qiáng)化學(xué)習(xí)算法，尤其在數(shù)學(xué)推理與代碼生成方面展現(xiàn)出卓越的能力。

Xiaomi MiMo是什么

Xiaomi MiMo 是小米開源的首個(gè)推理大模型，專注于提高模型在復(fù)雜推理任務(wù)中的表現(xiàn)。該模型基于聯(lián)動預(yù)訓(xùn)練和后訓(xùn)練的方法，充分挖掘海量富推理語料，結(jié)合創(chuàng)新的強(qiáng)化學(xué)習(xí)算法，顯著增強(qiáng)數(shù)學(xué)推理和代碼生成的能力。MiMo 僅使用 7B 參數(shù)，在多個(gè)公開測評集上表現(xiàn)優(yōu)異，超越了 OpenAI 的 o1-mini 和阿里 Qwen 的 QwQ-32B-Preview 等更大規(guī)模的模型。Xiaomi MiMo 提供四個(gè)模型版本，分別是預(yù)訓(xùn)練模型 MiMo-7B-Base、監(jiān)督微調(diào)模型 MiMo-7B-SFT、強(qiáng)化學(xué)習(xí)模型 MiMo-7B-RL 和 MiMo-7B-RL-Zero，所有版本均已開源至 HuggingFace，為開發(fā)者提供強(qiáng)大的推理工具。

Xiaomi MiMo的主要功能

卓越的數(shù)學(xué)推理能力：能夠解決復(fù)雜的數(shù)學(xué)問題，提供清晰的推理過程和準(zhǔn)確的答案。
高效的代碼生成能力：生成高質(zhì)量的代碼，適用于多種編程任務(wù)，助力開發(fā)者高效完成工作。
優(yōu)化的推理性能：通過聯(lián)動預(yù)訓(xùn)練和后訓(xùn)練提升推理能力，以 7B 參數(shù)規(guī)模超越更大模型，展現(xiàn)出優(yōu)秀的推理效率。

Xiaomi MiMo的技術(shù)原理

預(yù)訓(xùn)練階段：重點(diǎn)挖掘豐富的推理語料，合成約 200B tokens 的推理數(shù)據(jù)，確保模型熟悉更多推理模式，通過三階段訓(xùn)練逐步提升訓(xùn)練難度，總訓(xùn)練量達(dá)到 25T tokens，模型在多種難度的任務(wù)中逐步提升能力。
后訓(xùn)練階段：
- 強(qiáng)化學(xué)習(xí)算法：引入 Test Difficulty Driven Reward 算法，以解決困難算法中獎勵(lì)稀疏的問題，提升模型在復(fù)雜任務(wù)中的表現(xiàn)。
- 數(shù)據(jù)重采樣策略：采用 Easy Data Re-Sampling 策略，以穩(wěn)定強(qiáng)化學(xué)習(xí)訓(xùn)練過程。
- 高效訓(xùn)練框架：設(shè)計(jì) Seamless Rollout 系統(tǒng)，顯著加速 RL 訓(xùn)練（2.29 倍）和驗(yàn)證（1.96 倍），提升訓(xùn)練效率。
模型架構(gòu)優(yōu)化：針對推理任務(wù)進(jìn)行了模型架構(gòu)的優(yōu)化，確保在有限的參數(shù)規(guī)模下實(shí)現(xiàn)高效的推理能力。

Xiaomi MiMo的項(xiàng)目地址

GitHub倉庫：https://github.com/XiaomiMiMo
HuggingFace模型庫：https://huggingface.co/XiaomiMiMo
技術(shù)論文：https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf

Xiaomi MiMo的應(yīng)用場景

教育領(lǐng)域：為數(shù)學(xué)解題和編程學(xué)習(xí)提供支持，展示解題步驟和代碼示例。
科研與學(xué)術(shù)：協(xié)助邏輯推理和算法開發(fā)，幫助驗(yàn)證假設(shè)及設(shè)計(jì)實(shí)驗(yàn)。
軟件開發(fā)：生成和優(yōu)化代碼，輔助代碼調(diào)試與問題解決。
智能客服：高效解答復(fù)雜問題，提升問答系統(tǒng)的響應(yīng)能力。
游戲娛樂：提供策略建議和智力謎題解答，增加游戲的趣味性。