微軟推出Phi-3 Mini：3.8B參數小到能塞進手機，性能媲美GPT-3.5

AIGC動態歡迎閱讀

原標題：微軟推出Phi-3 Mini：3.8B參數小到能塞進手機，性能媲美GPT-3.5
關鍵字：模型,微軟,報告,語言,離線
文章來源：算法邦
內容字數：5948字

內容摘要：

4月23日，微軟在官網開源了小語言模型（SLM）——Phi-3-mini。這是微軟Phi-3系列模型推出的首個模型。Phi-3-mini作為微軟Phi系列的產品，以其38億參數和3.3T tokens的龐大訓練數據量，在語言、推理、編碼和數學基準測試中超越了眾多數百億參數規模的模型。
此外，Phi-3-mini有4k和128k tokens兩個上下文長度變體，經過預訓練和指令調整，可以更好地理解人類的語言、表達、邏輯并執行不同類型的指令。
與大語言模型相比，Phi-3-mini模型操作更為簡便。該模型的體積很小，這一特性使其可以在端側部署和運行。據稱，該模型可以作為機器人離線訪問，且具有不亞于GPT-3.5的性能。
Phi-3-mini的成本大幅降低。微軟生成式AI研究副總裁塞巴斯蒂安·布貝克（Sébastien Bubeck）稱，相比于其他相似功能的模型，Phi-3-mini成本可能只有十分之一。
據微軟研究團隊稱，Phi-3-mini小體積、高性能的創新歸功于由合成數據組成的數據集。該數據集由大量已過濾的網絡數據和其他AI制作的兒童讀物中的合成數據組成。
微軟計劃在未來幾

原文鏈接：微軟推出Phi-3 Mini：3.8B參數小到能塞進手機，性能媲美GPT-3.5

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，連接AI新青年，講解研究成果，分享系統思考。