北京大學：利用好不確定性，8B小模型也能超越GPT-4

AIGC動態(tài)歡迎閱讀

原標題：北京大學：利用好不確定性，8B小模型也能超越GPT-4
關(guān)鍵字：模型,性能,任務(wù),確定性,方法
文章來源：夕小瑤科技說
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | 謝年年大模型有一個顯著的特點，那就是不確定性——對于特定輸入，相同的LLM在不同解碼配置下可能生成顯著不同的輸出。
比如問一問chatgpt“今天開心嗎？”，可以得到兩種不同的回答。
常用的解碼策略有兩種，一個是貪婪解碼，即永遠選擇概率最高的下一個token，另一種就是采樣方法，根據(jù)概率分布隨機選擇下一個token，常常使用溫度參數(shù)平衡響應質(zhì)量和多樣性。
那么，這兩種方式哪個更好呢？北大的一篇論文給出了答案：
貪婪解碼在大多數(shù)任務(wù)中通常優(yōu)于采樣方法。
另外作者還發(fā)現(xiàn)，LLMs的這種不確定性具有巨大潛力。通過采用“Best-of-N”策略，從多個采樣響應中挑選最優(yōu)答案的方式，Llama-3-8B-Instruct在MMLU、GSM8K和HumanEval上均超越GPT-4-Turbo。
這是否可以說明，即使小模型單次回答可能不夠準確，但多試幾次，從里面挑最好的，也能找到正確答案。就像多猜幾次謎語，總有一次能猜對一樣。一起來看看論文中怎么說的吧~
論文標題:The Good, The Bad, and The Greedy:
Evaluation of LLMs

原文鏈接：北京大學：利用好不確定性，8B小模型也能超越GPT-4

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：