無損加速最高5x，EAGLE-2讓RTX 3060的生成速度超過A100

AIGC動態歡迎閱讀

原標題：無損加速最高5x，EAGLE-2讓RTX 3060的生成速度超過A100
關鍵字：草稿,模型,節點,語言,階段
文章來源：機器之心
內容字數：0字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com李堉暉：北京大學智能學院碩士，受張弘揚老師和張超老師指導，研究方向為大模型加速和對齊，正在尋找25屆工作機會
魏芳蕓：微軟亞研院研究員，研究方向為具身智能、圖像生成和AI agents
張超：北京大學智能學院研究員，研究方向為計算機視覺和機器學習
張弘揚：滑鐵盧大學計算機學院、向量研究院助理教授，研究方向為LLM加速和AI安全自回歸解碼已經成為了大語言模型（LLMs）的事實標準，大語言模型每次前向計算需要訪問它全部的參數，但只能得到一個token，導致其生成昂貴且緩慢。
今日，一篇題為《EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees》的論文提出了動態草稿樹投機采樣，依據

原文鏈接：無損加速最高5x，EAGLE-2讓RTX 3060的生成速度超過A100

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺