AIGC動態(tài)歡迎閱讀

原標題：Intel入局大模型，燒錢搜索130億種網(wǎng)絡(luò)結(jié)構(gòu)，讓LLaMa2瘦身30%
關(guān)鍵字：子網(wǎng),網(wǎng)絡(luò),模型,大小,精度
文章來源：夕小瑤科技說
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | 任同學(xué)大語言模型在多個領(lǐng)域大放異彩，但它們的高內(nèi)存和計算成本限制了廣泛使用。神經(jīng)架構(gòu)搜索（NAS）能自動找到最優(yōu)模型架構(gòu)，減少手動調(diào)試，但在大模型上應(yīng)用NAS仍然面臨高成本和龐大搜索空間的挑戰(zhàn)。
來自于自英特爾公司的英特爾實驗室（Intel Labs）的研究團隊提出了一種基于LLaMA2-7B的高效神經(jīng)架構(gòu)搜索方法，通過一次性微調(diào)和遺傳算法搜索來找到更小、更高效的網(wǎng)絡(luò)架構(gòu)，而無需從頭訓(xùn)練超網(wǎng)絡(luò)。研究表明，預(yù)訓(xùn)練的LLaMA2-7B模型在某些標準基準任務(wù)上過于龐大和復(fù)雜，該方法減少了1.5倍的模型大小，提高1.3倍的吞吐量，而準確率幾乎沒有下降。
論文題目：LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models論文鏈接：http://arxiv.org/abs/2405.18377論文單位：Intel Labs
方法為了優(yōu)化大語言模型，使其能夠在不同硬件平臺和性能需求下高效運行，本文提出了基于InstaTune方法的高效神經(jīng)架構(gòu)搜索（NAS）策略。
InstaTune是

原文鏈接：Intel入局大模型，燒錢搜索130億種網(wǎng)絡(luò)結(jié)構(gòu)，讓LLaMa2瘦身30%

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業(yè)、有趣、深度價值導(dǎo)向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內(nèi)外機構(gòu)投資人，互聯(lián)網(wǎng)大廠中高管和AI公司創(chuàng)始人。一線作者來自清北、國內(nèi)外頂級AI實驗室和大廠，兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務(wù)合作：zym5189