斯坦福、Deepmind、劍橋聯(lián)合發(fā)文：推理 Scaling Up 的簡單技巧

原標(biāo)題：斯坦福、Deepmind、劍橋聯(lián)合發(fā)文：推理 Scaling Up 的簡單技巧
文章來源：夕小瑤科技說
內(nèi)容字?jǐn)?shù)：5112字

大模型性能提升新思路：重復(fù)采樣方法

本文總結(jié)了近期關(guān)于提升大模型性能的一種新方法——重復(fù)采樣，并對其優(yōu)缺點(diǎn)進(jìn)行了分析。

1. 重復(fù)采樣的概念及優(yōu)勢

傳統(tǒng)的大模型性能提升主要依靠調(diào)整模型本身，例如預(yù)訓(xùn)練、微調(diào)等，這些方法成本較高。而重復(fù)采樣提供了一種新的思路：在不改變模型結(jié)構(gòu)的情況下，通過增加推理計(jì)算量（多次采樣），來提高模型的輸出質(zhì)量和準(zhǔn)確率。其核心思想是：增加采樣次數(shù)，可以增加獲得正確答案的概率。這種方法的優(yōu)勢在于簡單直接，無需大量數(shù)據(jù)和成本，便于快速驗(yàn)證效果。

2. 相關(guān)研究及實(shí)驗(yàn)結(jié)果

斯坦福、DeepMind、劍橋等機(jī)構(gòu)的研究表明，重復(fù)采樣方法在多個(gè)數(shù)據(jù)集（如GSM8K、MATH、SWE-bench Lite等）上取得了顯著效果提升。例如，DeepSeek-Coder-V2-Instruct模型在SWE-bench Lite數(shù)據(jù)集上的準(zhǔn)確率從15.9%提升到56%。該方法在不同模型規(guī)模、模型架構(gòu)和訓(xùn)練水平上都表現(xiàn)出一致的有效性。

3. 成本與性價(jià)比分析

重復(fù)采樣雖然提升了模型性能，但同時(shí)也增加了計(jì)算成本（FLOPs）。研究發(fā)現(xiàn)，單純依靠FLOPs衡量成本并不全面，因?yàn)榕刻幚砗蛢?yōu)化可以提高系統(tǒng)吞吐量。實(shí)驗(yàn)結(jié)果顯示，在相同F(xiàn)LOPs下，不同模型規(guī)模的性能表現(xiàn)差異較大，最佳模型大小取決于任務(wù)、計(jì)算預(yù)算和覆蓋率要求。在資源有限的情況下，以增加推理時(shí)間為代價(jià)提升性能也是一種可行的策略。

4. 驗(yàn)證器的作用及瓶頸

重復(fù)采樣會(huì)產(chǎn)生多個(gè)候選答案，需要驗(yàn)證器來篩選出最佳答案。論文中提出了三種驗(yàn)證器：多數(shù)投票、獎(jiǎng)勵(lì)模型+最佳N個(gè)、獎(jiǎng)勵(lì)模型+多數(shù)投票。實(shí)驗(yàn)結(jié)果表明，驗(yàn)證器的性能很大程度上限制了重復(fù)采樣的效果提升，覆蓋率的提高并不能直接轉(zhuǎn)化為最終的任務(wù)成功率，且驗(yàn)證器在樣本數(shù)量增加時(shí)存在性能飽和現(xiàn)象。

5. 縮放定律及未來展望

研究人員試圖通過縮放定律來找到性能與計(jì)算成本的最佳平衡點(diǎn)。大多數(shù)任務(wù)和模型的覆蓋率與樣本數(shù)量之間符合指數(shù)冪定律，但也有例外情況。 重復(fù)采樣方法的有效性已被證實(shí)，但其應(yīng)用仍存在挑戰(zhàn)，例如驗(yàn)證器的性能瓶頸。未來研究需要進(jìn)一步探索更有效的驗(yàn)證器，以及更精細(xì)的成本模型，以更好地指導(dǎo)大模型的推理優(yōu)化。

6. 與其他方法的比較

有觀點(diǎn)認(rèn)為，重復(fù)采樣方法類似于谷歌提出的O3優(yōu)化策略的簡化版本。但無論如何，它提供了一種與傳統(tǒng)模型優(yōu)化方法不同的思路，為提升大模型性能提供了新的選擇。

總而言之，重復(fù)采樣是一種有前景的大模型性能提升方法，但其效果受限于驗(yàn)證器的性能，需要進(jìn)一步研究以克服其局限性，并更好地平衡性能與成本。

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：低負(fù)擔(dān)解碼AI世界，硬核也可愛！聚集35萬AI發(fā)燒友、開發(fā)者和從業(yè)者，廣泛覆蓋互聯(lián)網(wǎng)大廠中高管、AI公司創(chuàng)始人和機(jī)構(gòu)投資人。一線作者來自清北、國內(nèi)外頂級AI實(shí)驗(yàn)室和大廠，兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務(wù)合作：zym5189