微軟發(fā)布Phi-3 Mini:3.8B參數(shù)小到能塞進手機,性能媲美GPT-3.5

AIGC動態(tài)歡迎閱讀
原標(biāo)題:微軟發(fā)布Phi-3 Mini:3.8B參數(shù)小到能塞進手機,性能媲美GPT-3.5
關(guān)鍵字:模型,微軟,報告,語言,數(shù)據(jù)
文章來源:智東西
內(nèi)容字數(shù):5701字
內(nèi)容摘要:
“小而美”的Phi-3-mini竟然歸功于其合成數(shù)據(jù)組成的數(shù)據(jù)集?
編譯|長頸鹿
編輯|香草
智東西4月24日報道,4月23日,微軟在官網(wǎng)開源了小語言模型(SLM)——Phi-3-mini。這是微軟Phi-3系列模型推出的首個模型。
Phi-3-mini作為微軟Phi系列的產(chǎn)品,以其38億參數(shù)和3.3T tokens的龐大訓(xùn)練數(shù)據(jù)量,在語言、推理、編碼和數(shù)學(xué)基準(zhǔn)測試中超越了眾多數(shù)百億參數(shù)規(guī)模的模型。
此外,Phi-3-mini有4k和128k tokens兩個上下文長度變體,經(jīng)過預(yù)訓(xùn)練和指令調(diào)整,可以更好地理解人類的語言、表達、邏輯并執(zhí)行不同類型的指令。
與大語言模型相比,Phi-3-mini模型操作更為簡便。該模型的體積很小,這一特性使其可以在端側(cè)部署和運行。據(jù)稱,該模型可以作為機器人離線訪問,且具有不亞于GPT-3.5的性能。
Phi-3-mini的成本大幅降低。微軟生成式AI研究副總裁塞巴斯蒂安·布貝克(Sébastien Bubeck)稱,相比于其他相似功能的模型,Phi-3-mini成本可能只有十分之一。
據(jù)微軟研究團隊稱,Phi-3-mini小體積、高性能的創(chuàng)新歸
原文鏈接:微軟發(fā)布Phi-3 Mini:3.8B參數(shù)小到能塞進手機,性能媲美GPT-3.5
聯(lián)系作者
文章來源:智東西
作者微信:zhidxcom
作者簡介:智能產(chǎn)業(yè)新媒體!智東西專注報道人工智能主導(dǎo)的前沿技術(shù)發(fā)展,和技術(shù)應(yīng)用帶來的千行百業(yè)產(chǎn)業(yè)升級。聚焦智能變革,服務(wù)產(chǎn)業(yè)升級。

粵公網(wǎng)安備 44011502001135號