AIGC動態歡迎閱讀

原標題：北京大學：利用好不確定性，8B小模型也能超越GPT-4
關鍵字：模型,性能,任務,確定性,方法
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | 謝年年大模型有一個顯著的特點，那就是不確定性——對于特定輸入，相同的LLM在不同解碼配置下可能生成顯著不同的輸出。
比如問一問chatgpt“今天開心嗎？”，可以得到兩種不同的回答。
常用的解碼策略有兩種，一個是貪婪解碼，即永遠選擇概率最高的下一個token，另一種就是采樣方法，根據概率分布隨機選擇下一個token，常常使用溫度參數平衡響應質量和多樣性。
那么，這兩種方式哪個更好呢？北大的一篇論文給出了答案：
貪婪解碼在大多數任務中通常優于采樣方法。
另外作者還發現，LLMs的這種不確定性具有巨大潛力。通過采用“Best-of-N”策略，從多個采樣響應中挑選最優答案的方式，Llama-3-8B-Instruct在MMLU、GSM8K和HumanEval上均超越GPT-4-Turbo。
這是否可以說明，即使小模型單次回答可能不夠準確，但多試幾次，從里面挑最好的，也能找到正確答案。就像多猜幾次謎語，總有一次能猜對一樣。一起來看看論文中怎么說的吧~
論文標題:The Good, The Bad, and The Greedy:
Evaluation of LLMs

原文鏈接：北京大學：利用好不確定性，8B小模型也能超越GPT-4

聯系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：