AIGC動態歡迎閱讀

原標題：謝謝微軟，又又又Open了！一口氣發布3款Phi-3.5新模型，領先Llama3.1和谷歌同級模型
關鍵字：模型,微軟,參數,基準,上下文
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | 付奶茶家人們！微軟又用愛發電了！一覺醒來，微軟發布了最新的小模型三兄弟：
Phi-3.5-MoE-instruct
Phi-3.5-mini-instruct
Phi-3.5-vision-instruct
三兄弟的表現可以說是相當的不錯，其中，Phi-3.5-MoE 在基準測試中擊敗了 Llama 3.1 8B、Mistral-Nemo-12B，Gemini 1.5 Flash。在推理能力方面它也優于其他一些較大的模型，僅落后于 GPT-4o-mini，直接分分鐘登頂同級模型！
真不錯呀！讓奶茶帶大家看一下！
不同用途不同選擇！三個Phi 3.5模型有不同的專長！
Phi-3.5 MoE – 微軟專家大集合大哥Phi-3.5 MoE 是一個混合專家模型，將多個不同的模型類型組合成一個，其中每個模型類型專門從事不同的任務。該模型有420億個活動參數的架構，支持128k token上下文長度。
劃重點：
6.6B 活動參數（總參數42B）
128K 上下文、多語言和相同分詞器
在 4.9T tokens 上進行訓練
使用 512 張 H100 進行訓練（23

原文鏈接：謝謝微軟，又又又Open了！一口氣發布3款Phi-3.5新模型，領先Llama3.1和谷歌同級模型

聯系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：