AIGC動態歡迎閱讀

原標題：從模型、數據和框架三個視角出發，這里有份54頁的高效大語言模型綜述
關鍵字：高效,模型,提示,研究者,數據
文章來源：機器之心
內容字數：6046字

內容摘要：

機器之心專欄
機器之心編輯部大規模語言模型（LLMs）在很多關鍵任務中展現出顯著的能力，比如自然語言理解、語言生成和復雜推理，并對社會產生深遠的影響。然而，這些卓越的能力伴隨著對龐大訓練資源的需求（如下圖左）和較長推理時延（如下圖右）。因此，研究者們需要開發出有效的技術手段去解決其效率問題。
同時，我們從圖右還可以看出，近來較為火熱的高效 LLMs，例如 Mistral-7B，在確保和 LLaMA1-33B 相近的準確度的情況下可以大大減少推理內存和降低推理時延，可見已有部分可行的高效手段被成功應用于 LLMs 的設計和部署中。在本綜述中，來自俄亥俄州立大學、帝國理工學院、密歇根州立大學、密西根大學、亞馬遜、谷歌、Boson AI、微軟亞研院的研究者提供了對高效 LLMs 研究的系統全面調查。他們將現有優化 LLMs 效率的技術分成了三個類別，包括以模型為中心、以數據為中心和以框架為中心，總結并討論了當下最前沿的相關技術。論文：https://arxiv.org/abs/2312.03863
GitHub: https://github.com/AIoT-MLSys-Lab/Effic

原文鏈接：從模型、數據和框架三個視角出發，這里有份54頁的高效大語言模型綜述

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺