端側最強，Meta田淵棟等人卷10億以下參數小模型，LeCun：小技巧啟動

AIGC動態歡迎閱讀

原標題：端側最強，Meta田淵棟等人卷10億以下參數小模型，LeCun：小技巧啟動
關鍵字：模型,報告,規模,權重,研究者
文章來源：機器之心
內容字數：6103字

內容摘要：

機器之心報道
機器之心編輯部Meta 推出 MobileLLM 系列，一款適用于移動設備上的「小」模型。「在移動設備上運行 LLM？可能需要 Meta 的一些技巧。」剛剛，圖靈獎得主 Yann LeCun 在個人社交平臺表示。他所宣傳的這項研究來自 Meta 最新論文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases 》，在眾多作者中也有我們熟悉的來自 Meta FAIR 田淵棟。
田淵棟表示：「我們的 MobileLLM 預訓練模型（125M/350M），性能達到 SoTA，特別是在 / API 調用方面表現出色。此外，本工作中的一個有趣研究是跨 Transformer 層的權重共享，這樣不僅節省了參數，還減少了推理過程中的延遲。」論文地址：https://arxiv.org/pdf/2402.14905.pdf
現階段大語言模型（LLM）已經滲透到人類生活的各個方面，尤其是以 ChatGPT 等為代表的模型，這類研究主要在云環境中運行。
然而領先的模型如 Ch

原文鏈接：端側最強，Meta田淵棟等人卷10億以下參數小模型，LeCun：小技巧啟動

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺