MiLM 小米大模型

小米大模型首次曝光

8月14日，小米新品發(fā)布會在北京國家會議中心舉行，小米集團創(chuàng)始人、董事長兼CEO雷軍在年度公開演講中表示，今年4月小米組建了AI大模型團隊，全面擁抱大模型，第一個應(yīng)用大模型就是將智能語音助理小愛同學(xué)升級了大模型版本，并開啟邀請測試。據(jù)其介紹，小米大模型技術(shù)的主力突破方向為輕量化、本地部署，優(yōu)先在手機上實現(xiàn)端側(cè)跑通。小米將全力優(yōu)化百億參數(shù)大模型，目前已在手機端跑通13億參數(shù)的大模型，證明手機端大模型部分場景效果可媲美云端。

小愛同學(xué)大模型內(nèi)測申請通道

小愛同學(xué)大模型版邀測招募

https://web.vip.miui.com/page/info/mio/mio/detail?postId=41070692

報名方式

方式1：小米社區(qū)APP，可直接點擊此處報名
方式2：打開小米社區(qū)APP，在首頁找到【更多頻道】，點擊【內(nèi)測中心】，申請參加【小愛同學(xué)大模型內(nèi)測】
方式3：試試對小愛說“內(nèi)測報名”， 可直達報名頁面

小米大模型概況

此前小米公司并未“官宣”直接加入 AI 大模型賽道中，不過小米的 AI 大模型 MiLM-6B 目前已經(jīng)悄然現(xiàn)身 C-Eval、CMMLU 大模型評測榜單，截至當(dāng)前，小米大模型在 C-Eval 總榜單排名第 10、同參數(shù)量級排名第 1。

根據(jù) GitHub 項目頁給出的信息得知，MiLM-6B 是由小米公司開發(fā)的一個大規(guī)模預(yù)訓(xùn)練語言模型，參數(shù)規(guī)模達 64 億。

小米大模型 MiLM-6B 項目地址：

https://github.com/XiaoMi/MiLM-6B

而根據(jù) C-Eval 給出的信息，MiLM-6B 模型在具體各科目成績上，在 STEM（科學(xué)、技術(shù)、工程和數(shù)學(xué)教育）全部 20 個科目中，計量師、物理、化學(xué)、生物等多個項目獲得了較高的準確率。

據(jù)悉，MiLM-6B 模型目前已經(jīng)在大多數(shù)文科科目中表現(xiàn)出了相對良好的準確度，不過在“法學(xué)、數(shù)學(xué)、編程、概率論、離散數(shù)學(xué)”等涉及“抽象思維”的科目中，還有一定進步空間。

小米大模型的特點

在 10 個“社會科學(xué)”測試科目中，除“教育學(xué)和地理”外，該模型在其他 8 個科目中都獲得了較為理想的準確率。在人文科學(xué)的 11 個科目中，MiLM-6B 則在“歷史與法律”基礎(chǔ)上有著不錯的準確率表現(xiàn)。

1. 小米大模型MiLM-6B是小米AI實驗室推出的一款自然語言處理模型，該模型在C-Eval和CMMLU大模型評測榜單中首次亮相，并取得了不俗的成績。以下是該模型的亮眼性能：
2. 參數(shù)量級較大：MiLM-6B擁有超過20億個參數(shù)，是目前中文預(yù)訓(xùn)練語言模型中參數(shù)量最大的之一。這使得它可以更好地捕捉中文語言的復(fù)雜性和多樣性，提高其在各種自然語言處理任務(wù)中的性能表現(xiàn)。
3. 優(yōu)秀的語義理解能力：MiLM-6B在多個中文自然語言處理任務(wù)中都表現(xiàn)出色，如情感分析、文本分類、命名實體識別等。它能夠準確地理解文本的語義信息，并根據(jù)任務(wù)要求進行相應(yīng)的處理。
4. 強大的生成能力：除了理解文本外，MiLM-6B還具有生成文本的能力。它可以生成符合語法規(guī)范、通順流暢的中文文本，并且在一些任務(wù)中甚至能夠達到與人類相似的表現(xiàn)水平。
5. 可擴展性強：MiLM-6B采用了分層架構(gòu)的設(shè)計，可以根據(jù)具體任務(wù)的需求進行靈活的調(diào)整和擴展。例如，可以通過增加層數(shù)或調(diào)整神經(jīng)元數(shù)量來提高模型的性能表現(xiàn)，或者通過增加任務(wù)類型來擴大應(yīng)用范圍。
6. 開源開放：MiLM-6B是一個開源的項目，任何人都可以在其官方網(wǎng)站上下載到相關(guān)的代碼和數(shù)據(jù)集，并根據(jù)自己的需求進行二次開發(fā)和應(yīng)用。這種開放的態(tài)度有助于推動中文自然語言處理領(lǐng)域的發(fā)展和創(chuàng)新。