手機能跑！微軟小模型擊敗Llama 2，96塊A100 GPU訓練14天，參數規模僅27億

AIGC動態歡迎閱讀

原標題：手機能跑！微軟小模型擊敗Llama 2，96塊A100 GPU訓練14天，參數規模僅27億

關鍵字：模型,微軟,參數,報告,規模

文章來源：智東西

內容字數：5114字

內容摘要：以小搏大！微軟27億參數模型擊敗Llama 2、Gemini Nano 2。作者|程茜編輯|李水青智東西12月13日報道，昨日晚間，微軟又亮出了小模型大招！微軟發布了27億參數規模的小語言模型Phi-2，經研究人員測試，Phi-2在參數規模小于130億的模型中展示了最先進性能。從性能表現看，Phi-2在Big Bench Hard（BBH）、常識推理、語言理解、數學和編碼基準測試中，其平均性能得分已經超過70億、130億參數規模的Mistral和Llama 2，在部分基準測試中超過谷歌的Gemini Nano 2。Phi-2還有一大優勢是，因為參數規模足夠小，其可以在筆記本電腦、手機等移動設備上運行。過去幾個月間，微軟研究院的機器學習基礎團隊陸續發布了小型語言模型（SLM）Phi系列。其中，第一個模型為13億參數規模的Phi-1，官方博客稱，Phi-1在SLM中的Python編碼方面表現最…

原文鏈接：點此閱讀原文：手機能跑！微軟小模型擊敗Llama 2，96塊A100 GPU訓練14天，參數規模僅27億

聯系作者

文章來源：智東西

作者微信：zhidxcom

作者簡介：智能產業新媒體！智東西專注報道人工智能主導的前沿技術發展，和技術應用帶來的千行百業產業升級。聚焦智能變革，服務產業升級。