AIGC動態歡迎閱讀

原標題：GPT-4可能也在用的推測解碼是什么？一文綜述前世今生和應用情況
關鍵字：模型,報告,算法,語言,目標
文章來源：機器之心
內容字數：5496字

內容摘要：

機器之心報道
機器之心編輯部推測解碼（Speculative Decoding）是谷歌等機構在 2022 年發現的大模型推理加速方法。它可以在不損失生成效果前提下，獲得 3 倍以上的加速比。GPT-4 泄密報告也提到 OpenAI 線上模型推理使用了它。針對如此妙的方法，香港理工大學、北京大學、MSRA 以及阿里共同推出了一篇關于推測解碼的綜述， 幫助讀者了解推測解碼的前世今生和應用情況，值得一讀。眾所周知，大型語言模型（LLM）的推理通常需要使用自回歸采樣，這個推理過程相當緩慢。為了解決這個問題，推測解碼（Speculative Decoding）已經成為 LLM 推理的一種新型采樣方法。這種方法在每個采樣步驟中，會先預測幾個可能的 token，然后并行地驗證是否準確。與自回歸解碼不同，推測解碼能夠單步解碼多個 token，從而加速推理。
雖然推測解碼可以大有作為，但也引出了一些需要進一步調研的關鍵問題。首先需要考慮如何選擇或設計近似模型，以在推測準確性和生成效率之間取得平衡。其次，有必要考慮評估標準是否能夠保持生成多樣性和輸出質量。最后，應仔細考慮對齊近似模型和目標大模型之間的推理

原文鏈接：GPT-4可能也在用的推測解碼是什么？一文綜述前世今生和應用情況

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺