AIGC動態歡迎閱讀

原標題：Meta AI推出適用于移動設備的緊湊型語言模型
關鍵字：模型,高效,語言,參數,設備
文章來源：AI范兒
內容字數：0字

內容摘要：

點擊上方藍字關注我們“Meta AI 推出 MobileLLM，一種為移動設備設計的高效語言模型。該模型通過優化參數，實現了與更大模型相當的性能，推動了 AI 模型小型化和效率化的趨勢。Meta AI 研究團隊最近推出了 MobileLLM，這是一種為移動設備和其他資源受限環境量身定制的高效語言模型。這項研究在 2024 年 6 月 27 日發布，它打破了人們對于 AI 模型必須龐大的傳統認知。
這個由 Meta Reality Labs、PyTorch 和 Meta AI Research (FAIR) 的成員組成的團隊，專注于開發參數不足 10 億的模型，這與 GPT-4 等擁有超過一萬億參數的龐然大物相比，簡直是小巫見大巫。
Meta 的首席人工智能科學家 Yann LeCun 在 X 平臺上分享了這項研究的幾個亮點：MobileLLM 的創新之處在于：
– 強調模型的深度而非廣度
– 采用嵌入共享和分組查詢注意力機制
– 引入了一種創新的即時塊狀權重共享技術
這些設計決策讓 MobileLLM 在標準測試任務上的性能比同等規模的舊模型提升了 2.7% 到 4.3%。雖然這些提升

原文鏈接：Meta AI推出適用于移動設備的緊湊型語言模型

聯系作者

文章來源：AI范兒
作者微信：AI_Insights
作者簡介：AI領域四大媒體之一。 智能未來，始于Prompt！