大模型推理效率無損提升3倍，滑鐵盧大學、北京大學等機構發布EAGLE

AIGC動態歡迎閱讀

原標題：大模型推理效率無損提升3倍，滑鐵盧大學、北京大學等機構發布EAGLE

關鍵字：報告,特征,模型,向量,樹狀

文章來源：機器之心

內容字數：5624字

內容摘要：機器之心專欄機器之心編輯部大語言模型（LLM）被越來越多應用于各種領域。然而，它們的文本生成過程既昂貴又緩慢。這種低效率歸因于自回歸解碼的運算規則：每個詞（token）的生成都需要進行一次前向傳播，需要訪問數十億至數千億參數的 LLM。這導致傳統自回歸解碼的速度較慢。近日，滑鐵盧大學、加拿大向量研究院、北京大學等機構聯合發布 EAGLE，旨在提升大語言模型的推理速度，同時保證模型輸出文本的分布一致。這種方法外推 LLM 的第二頂層特征向量，能夠顯著提升生成效率。技術報告：https://sites.google.com/view/eagle-llm代碼（支持商用 Apache 2.0）：https://github.com/SafeAILab/EAGLEEAGLE 具有以下特點：比普通自回歸解碼（13B）快 3 倍；比 Lookahead 解碼（13B）快 2 倍；比 Medusa 解碼（…

原文鏈接：點此閱讀原文：大模型推理效率無損提升3倍，滑鐵盧大學、北京大學等機構發布EAGLE

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺