Intel入局大模型，燒錢搜索130億種網絡結構，讓LLaMa2瘦身30%

AIGC動態歡迎閱讀

原標題：Intel入局大模型，燒錢搜索130億種網絡結構，讓LLaMa2瘦身30%
關鍵字：子網,網絡,模型,大小,精度
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | 任同學大語言模型在多個領域大放異彩，但它們的高內存和計算成本限制了廣泛使用。神經架構搜索（NAS）能自動找到最優模型架構，減少手動調試，但在大模型上應用NAS仍然面臨高成本和龐大搜索空間的挑戰。
來自于自英特爾公司的英特爾實驗室（Intel Labs）的研究團隊提出了一種基于LLaMA2-7B的高效神經架構搜索方法，通過一次性微調和遺傳算法搜索來找到更小、更高效的網絡架構，而無需從頭訓練超網絡。研究表明，預訓練的LLaMA2-7B模型在某些標準基準任務上過于龐大和復雜，該方法減少了1.5倍的模型大小，提高1.3倍的吞吐量，而準確率幾乎沒有下降。
論文題目：LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models論文鏈接：http://arxiv.org/abs/2405.18377論文單位：Intel Labs
方法為了優化大語言模型，使其能夠在不同硬件平臺和性能需求下高效運行，本文提出了基于InstaTune方法的高效神經架構搜索（NAS）策略。
InstaTune是

原文鏈接：Intel入局大模型，燒錢搜索130億種網絡結構，讓LLaMa2瘦身30%

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189