小模型越級挑戰14倍參數大模型，谷歌開啟Test-Time端新的Scaling Law

AIGC動態歡迎閱讀

原標題：小模型越級挑戰14倍參數大模型，谷歌開啟Test-Time端新的Scaling Law
關鍵字：模型,測試,方法,草莓,策略
文章來源：量子位
內容字數：0字

內容摘要：

西風 發自 凹非寺量子位 | 公眾號 QbitAI不必增加模型參數，計算資源相同，小模型性能超過比它大14倍的模型！
谷歌DeepMind最新研究引發熱議，甚至有人表示這可能就是OpenAI即將發布的新模型草莓所用的方法。
研究團隊探究了在大模型推理時進行計算優化的方法，根據給定的prompt難度，動態地分配測試時（Test-Time）的計算資源。
結果發現這種方法在一些情況下比單純擴展模型參數更經濟有效。
換句話說，在預訓練階段花費更少的計算資源，而在推理階段花費更多，這種策略可能更好。
推理時用額外計算來改進輸出這項研究的核心問題是——
在一定計算預算內解決prompt問題，不同的計算策略對于不同問題的有效性有顯著差異。我們應如何評估并選擇最適合當前問題的測試時計算策略？這種策略與僅僅使用一個更大的預訓練模型相比，效果如何？
DeepMind研究團隊探究了兩種主要機制來擴展測試時的計算。
一種是針對基于過程的密集驗證器獎勵模型（PRM）進行搜索。
PRM可以在模型生成答案過程中的每個步驟都提供評分，用于引導搜索算法，動態調整搜索策略，通過在生成過程中識別錯誤或低效的路徑，幫助避免在

原文鏈接：小模型越級挑戰14倍參數大模型，谷歌開啟Test-Time端新的Scaling Law

聯系作者

文章來源：量子位
作者微信：
作者簡介：