Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新「Scaling Law」誕生？

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新「Scaling Law」誕生？
關(guān)鍵字：報(bào)告,模型,方法,領(lǐng)域,數(shù)學(xué)
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：?jiǎn)虠?br />【新智元導(dǎo)讀】最近的論文表明，LLM等生成模型可以通過搜索來擴(kuò)展，并實(shí)現(xiàn)非常顯著的性能提升。另一個(gè)復(fù)現(xiàn)實(shí)驗(yàn)也發(fā)現(xiàn)，讓參數(shù)量?jī)H8B的Llama 3.1模型搜索100次，即可在Python代碼生成任務(wù)上達(dá)到GPT-4o同等水平。強(qiáng)化學(xué)習(xí)先驅(qū)、加拿大阿爾伯塔大學(xué)CS系教授Rich Sutton曾在2019年寫下一篇名為《The Bitter Lesson》的博文，成為AI領(lǐng)域的經(jīng)典論述之一。
甚至，Rich Sutton在字里行間體現(xiàn)出的直覺已經(jīng)頗有Scaling Law的意味。
原文地址：https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf
文章簡(jiǎn)要回顧了AI在象棋、圍棋、語音識(shí)別和視覺等領(lǐng)域的發(fā)展道路，并提出了這樣的觀點(diǎn)：
我們應(yīng)該吸取的慘痛教訓(xùn)之一，就是要意識(shí)到通用方法的力量。隨著可用算力猛增帶來計(jì)算量的增加，這種方法可以持續(xù)擴(kuò)展。似乎能以這種方式進(jìn)行任意擴(kuò)展的兩種方是搜索（search）和學(xué)習(xí)（learning）。
然而，這個(gè)觀點(diǎn)和Scaling Law并不完全一樣，我們也不能以此

原文鏈接：Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新「Scaling Law」誕生？

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡(jiǎn)介：