「專業智能體指導」讓小模型學會數學推理！微調Mistral-7B實現86.81%準確率

AIGC動態歡迎閱讀

原標題：「專業智能體指導」讓小模型學會數學推理！微調Mistral-7B實現86.81%準確率
關鍵字：問題,模型,研究人員,數據,答案
文章來源：新智元
內容字數：11677字

內容摘要：

新智元報道編輯：LRS
【新智元導讀】小模型也能解鎖數學能力，無需多模型集成，7B模型在GSM 8 k數據集上性能超越70B！對于小型語言模型（SLM）來說，數學應用題求解是一項很復雜的任務。
比如之前有研究結果顯示，在GSM 8K基準測試中實現80%以上準確度所需的最小模型尺寸為340億個參數。
為了在較小的模型上達到這種性能水平，研究人員經常訓練SLM來生成Python代碼或使用外部工具作為輔助，以避免計算錯誤。
或是基于集成（ensembling）技術，將100多個模型生成的輸出組合在一起，以獲得更準確的結果，最終結果的選擇需要通過、多數表決或與SLM結合使用的單獨的驗證器模型來完成，可以顯著提升準確率（Phi-GSM使用top-48將性能從68.2提升到81.5），不過代價是由于多次調用模型導致的成本顯著增加。
最近，微軟的研究人員提出了一個基于Mistral-7B、70億參數量的小型語言模型Orca-Math，它在GSM 8 k上實現了86.81%，不需要調用多個模型進行集成或使用驗證器、代碼執行或任何其他外部工具。論文鏈接：https://arxiv.org/abs/

原文鏈接：「專業智能體指導」讓小模型學會數學推理！微調Mistral-7B實現86.81%準確率

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。