大模型+蒙特卡洛樹搜索，一招讓LLaMa-3 8B奧數水平直逼GPT-4

AIGC動態歡迎閱讀

原標題：大模型+蒙特卡洛樹搜索，一招讓LLaMa-3 8B奧數水平直逼GPT-4
關鍵字：節點,問題,答案,模型,算法
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：陳萍、杜偉通過算法層面的創新，未來大語言模型做數學題的水平會不斷地提高。這幾天，17 歲中專生姜萍在 2024 阿里巴巴全球數學競賽預選賽中取得全球第 12 名的新聞刷了屏。而同時，AI 挑戰賽的成績顯示，在所有 563 支 AI 參賽隊伍中，最高分 34 分，平均分 18 分，趕上了人類選手平均水平。
AI 參與數學競賽的主要短板是邏輯推理能力弱，證明題很難拿到完整得分點。這也是 GPT-4、LLaMA 等當前大語言模型（LLM）在需要策略和邏輯推理的任務中面臨的重大挑戰。
其中的一大障礙是輸出的準確性和可信度，尤其是在需要保證精度的數學上下文中，LLM 在推理時往往容易產生幻覺。輸出結果表面上看似合理，但實際上不相關或事實不正確，最終導致不合理的推理過程。
雖然像 Self-Refine 這樣的重寫技術有助于緩解這種傾向，但依然可能導致現實世界復雜的數學問題產生誤導性或錯誤的結果。
因此，為了應對這些挑戰，來自復旦大學、上海 AI Lab 的研究者提出了 MCT Self-Refine（MCTSr），將 LLM 與蒙特卡洛樹搜索（MCTS）算法相結合，并重點提高

原文鏈接：大模型+蒙特卡洛樹搜索，一招讓LLaMa-3 8B奧數水平直逼GPT-4

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺