Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新「Scaling Law」誕生？

AIGC動態歡迎閱讀

原標題：Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新「Scaling Law」誕生？
關鍵字：報告,模型,方法,領域,數學
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：喬楊
【新智元導讀】最近的論文表明，LLM等生成模型可以通過搜索來擴展，并實現非常顯著的性能提升。另一個復現實驗也發現，讓參數量僅8B的Llama 3.1模型搜索100次，即可在Python代碼生成任務上達到GPT-4o同等水平。強化學習先驅、加拿大阿爾伯塔大學CS系教授Rich Sutton曾在2019年寫下一篇名為《The Bitter Lesson》的博文，成為AI領域的經典論述之一。
甚至，Rich Sutton在字里行間體現出的直覺已經頗有Scaling Law的意味。
原文地址：https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf
文章簡要回顧了AI在象棋、圍棋、語音識別和視覺等領域的發展道路，并提出了這樣的觀點：
我們應該吸取的慘痛教訓之一，就是要意識到通用方法的力量。隨著可用算力猛增帶來計算量的增加，這種方法可以持續擴展。似乎能以這種方式進行任意擴展的兩種方是搜索（search）和學習（learning）。
然而，這個觀點和Scaling Law并不完全一樣，我們也不能以此

原文鏈接：Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新「Scaling Law」誕生？

聯系作者

文章來源：新智元
作者微信：
作者簡介：