用神經架構搜索給LLM瘦身，模型變小，準確度有時反而更高

AIGC動態歡迎閱讀

原標題：用神經架構搜索給LLM瘦身，模型變小，準確度有時反而更高
關鍵字：準確度,網絡,大小,架構,模型
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：Panda用神經架構搜索給 LLM 瘦身，同等準確度可讓 LLaMA2-7B 模型大小降 2 倍。大型語言模型（LLM）的一個主要特點是「大」，也因此其訓練和部署成本都相當高，如何在保證 LLM 準確度的同時讓其變小就成了非常重要且有價值的研究課題。
對此，研究社區已經提出了多種多樣的方法，比如剪枝、稀疏化、量化等，它們的效果也各不一樣。
近日，Intel Labs 發布了一項研究成果，宣稱可使用神經架構搜索（NAS）高效地為 LLM 「瘦身」。他們基于 LLaMA2-7B 模型的實驗表明，該技術不僅能降低模型大小，有時甚至還能讓模型的準確度獲得提升！論文標題：LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models
論文地址：https://arxiv.org/pdf/2405.18377
神經架構搜索（NAS）是一種讓算法根據樣本集自動設計神經網絡架構的技術。之前曾被用來探索各式的新型神經網絡架構，甚至可能發現人類從未構建過的網絡架構，比如谷歌就曾通過 NAS 發現了一個新

原文鏈接：用神經架構搜索給LLM瘦身，模型變小，準確度有時反而更高

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺