rStar-Math – 微軟推出的小模型復雜推理與自進化SLMs的創新技術
rStar-Math是微軟亞洲研究院推出的一項前沿研究項目,利用蒙特卡洛樹搜索(MCTS)驅動的深度思考,使得小型語言模型(SLMs)在數學推理方面的表現達到甚至超越OpenAI的大型模型。該項目通過自我進化的深度思考,顯著提升了模型性能,無需依賴于更高級模型的數據蒸餾。
rStar-Math是什么
rStar-Math是微軟亞洲研究院開發的一項創新性研究項目,通過蒙特卡洛樹搜索(MCTS)實現深度推理,使小型語言模型(SLMs)在數學推理的能力上達到甚至超過OpenAI的大型模型。該項目不依賴于從更高階模型進行數據蒸餾,而是通過自我進化的方式提升模型的性能。rStar-Math引入了三種創新技術:代碼增強的逐步驗證推理軌跡合成、基于Q值的過程偏好模型(PPM)訓練方法,以及四輪自我進化的訓練策略。在MATH基準測試中,rStar-Math將Qwen2.5-Math-7B的準確率從58.8%提升至90.0%,并在AIME 2024測試中平均解決了53.3%的問題,超越了OpenAI的o1-preview模型。rStar-Math展現了模型的內在自我反思能力,能夠在推理過程中識別并糾正錯誤的步驟。
rStar-Math的主要功能
- 生成高質量的數學推理軌跡:依托蒙特卡洛樹搜索(MCTS)生成逐步驗證的推理軌跡,確保每個推理步驟的準確性和高質量。
- 自我進化:通過四輪自我進化,不斷優化策略模型和過程偏好模型(PPM)的性能,以應對更復雜的數學問題。
- 提升模型準確率:在多項數學基準測試中,顯著提高模型的準確率,例如在MATH基準測試中將Qwen2.5-Math-7B的準確率從58.8%提升至90.0%。
- 自我反思能力:該模型能夠在推理過程中識別并修正錯誤的步驟,展現出卓越的自我反思能力。
rStar-Math的技術原理
- 代碼增強的逐步驗證推理軌跡合成
- MCTS驅動的深度思考:將復雜的數學問題分解為多項單步生成任務,基于MCTS逐步構建搜索樹,生成推理軌跡。
- 代碼執行驗證:策略模型生成自然語言(NL)推理步驟及相應的Python代碼。
- Q值標注:通過終端引導標注和PPM增強標注兩種方法,為每個步驟自動分配Q值,引導MCTS節點選擇并識別高質量步驟。
- 過程偏好模型(PPM)訓練方法
- 避免直接使用Q值:傳統的Q值作為獎勵標簽可能存在噪聲和不準確的問題。rStar-Math通過構建步驟級的正負偏好對,利用成對排名損失來訓練PPM,從而提升標簽的可靠性。
- 偏好對構建:為每個步驟選擇Q值最高的兩個步驟作為正例,Q值最低的兩個步驟作為負例。PPM通過這些偏好對進行訓練,預測每個步驟的獎勵標簽。
- 四輪自我進化
- 初始強策略模型:第一輪使用DeepSeek-Coder-V2-Instruct作為初始策略模型,通過MCTS rollout生成訓練數據。
- 可靠PPM訓練:第二輪利用更新后的策略模型進行更可靠的Q值標注,訓練出第一個可靠的PPM。
- PPM增強MCTS:第三輪使用可靠的PPM進行MCTS,生成更高質量的推理軌跡,覆蓋更多數學和競賽級問題。
- 解決挑戰性問題:第四輪增加MCTS rollout次數和不同的隨機種子,以提高對競賽級問題的覆蓋率。
rStar-Math的項目地址
- arXiv技術論文:https://arxiv.org/pdf/2501.04519
rStar-Math的應用場景
- 教育輔導:為學生提供個性化的數學學習輔導,幫助他們逐步解決復雜的數學問題,提高解題能力和理解力。
- 科研支持:輔助數學家和科學家探討復雜的數學問題,生成初步解題思路和驗證步驟,加速研究進程。
- 金融科技:在金融風險評估和量化交易中,基于精準的數學模型和推理,預測市場風險并優化交易策略。
- 工程設計:在工程設計和系統優化中,運用數學推理優化系統參數,提升系統的性能和可靠性。
- 數據分析:在企業數據分析中,基于數學模型和推理,從大量數據中提取有價值的信息,支持市場預測和業務決策。
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...