從模型、數(shù)據(jù)和框架三個(gè)視角出發(fā)，這里有份54頁(yè)的高效大語(yǔ)言模型綜述

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：從模型、數(shù)據(jù)和框架三個(gè)視角出發(fā)，這里有份54頁(yè)的高效大語(yǔ)言模型綜述
關(guān)鍵字：高效,模型,提示,研究者,數(shù)據(jù)
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：6046字

內(nèi)容摘要：

機(jī)器之心專欄
機(jī)器之心編輯部大規(guī)模語(yǔ)言模型（LLMs）在很多關(guān)鍵任務(wù)中展現(xiàn)出顯著的能力，比如自然語(yǔ)言理解、語(yǔ)言生成和復(fù)雜推理，并對(duì)社會(huì)產(chǎn)生深遠(yuǎn)的影響。然而，這些卓越的能力伴隨著對(duì)龐大訓(xùn)練資源的需求（如下圖左）和較長(zhǎng)推理時(shí)延（如下圖右）。因此，研究者們需要開(kāi)發(fā)出有效的技術(shù)手段去解決其效率問(wèn)題。
同時(shí)，我們從圖右還可以看出，近來(lái)較為火熱的高效 LLMs，例如 Mistral-7B，在確保和 LLaMA1-33B 相近的準(zhǔn)確度的情況下可以大大減少推理內(nèi)存和降低推理時(shí)延，可見(jiàn)已有部分可行的高效手段被成功應(yīng)用于 LLMs 的設(shè)計(jì)和部署中。在本綜述中，來(lái)自俄亥俄州立大學(xué)、帝國(guó)理工學(xué)院、密歇根州立大學(xué)、密西根大學(xué)、亞馬遜、谷歌、Boson AI、微軟亞研院的研究者提供了對(duì)高效 LLMs 研究的系統(tǒng)全面調(diào)查。他們將現(xiàn)有優(yōu)化 LLMs 效率的技術(shù)分成了三個(gè)類別，包括以模型為中心、以數(shù)據(jù)為中心和以框架為中心，總結(jié)并討論了當(dāng)下最前沿的相關(guān)技術(shù)。論文：https://arxiv.org/abs/2312.03863
GitHub: https://github.com/AIoT-MLSys-Lab/Effic

原文鏈接：從模型、數(shù)據(jù)和框架三個(gè)視角出發(fā)，這里有份54頁(yè)的高效大語(yǔ)言模型綜述

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)