Mu

Mu – 微軟推出的小參數(shù)語言模型

Mu：一款由微軟研發(fā)的小型語言模型，專為在NPU和邊緣設備上高效運行而設計。它僅有3.3億參數(shù)，卻能以每秒超過100個tokens的速度響應用戶指令，并支持將自然語言轉化為系統(tǒng)操作。

### Mu：開啟智能設置新篇章

您是否厭倦了在層層菜單中尋找系統(tǒng)設置？現(xiàn)在，有了Mu，這一切將變得輕松自如。這款由微軟傾力打造的革新性語言模型，將徹底改變您與Windows系統(tǒng)的交互方式。Mu以其小巧的體積和強大的性能，在NPU和邊緣設備上實現(xiàn)了高效運行，為用戶帶來了前所未有的便捷體驗。

### Mu的核心功能：

智能設置調整：只需用您熟悉的語言描述需求，例如“增大鼠標指針”或“調暗屏幕亮度”，Mu就能立即響應并執(zhí)行相應的操作。
極速響應：Mu的響應速度超過每秒100個tokens，確保了流暢無延遲的用戶體驗，讓您在使用過程中感受不到任何卡頓。
無縫集成于Windows設置：Mu已無縫集成到Windows設置的搜索框中，您只需在此處輸入指令，系統(tǒng)即可自動識別并完成操作。
全面支持：Mu能夠處理數(shù)百項系統(tǒng)設置，滿足您日常使用中的各種需求，讓您輕松掌控系統(tǒng)。

### Mu的技術亮點：

架構基石：Mu基于編碼器-解碼器架構，通過編碼器將輸入文本轉化為潛在表示，再由解碼器生成輸出，從而實現(xiàn)對自然語言的理解和處理。
硬件優(yōu)化：針對NPU進行了深度優(yōu)化，包括調整模型結構和參數(shù)，以適應硬件的并行性和內存限制，從而確保模型在NPU上的卓越性能。
模型量化：采用后訓練量化（PTQ）技術，將模型權重和激活從浮點數(shù)轉換為整數(shù)，有效減少模型內存占用和計算需求，同時保持模型的準確性。
Transformer技術創(chuàng)新：
- 雙重層歸一化：在每個子層前后分別進行LayerNorm操作，確保激活值分布良好，從而穩(wěn)定訓練過程。
- 旋轉位置嵌入：基于復數(shù)域的旋轉操作，動態(tài)生成位置編碼，支持長序列的外推能力，避免了傳統(tǒng)絕對位置編碼的局限性。
- 分組查詢注意力：基于在頭組之間共享鍵和值，減少注意力參數(shù)數(shù)量和內存占用，保持頭的多樣性，從而提升模型效率。
訓練策略：利用A100 GPU進行預訓練，并從Phi模型進行知識蒸餾，結合低秩適配（LoRA）方法進行特定任務的微調，進一步提升模型性能。

### 產(chǎn)品官網(wǎng)：