LLaMA-2-7B數學能力上限已達97.7%？Xwin-Math利用合成數據解鎖潛力

AIGC動態歡迎閱讀

原標題：LLaMA-2-7B數學能力上限已達97.7%？Xwin-Math利用合成數據解鎖潛力
關鍵字：模型,數學,數據,問題,能力
文章來源：機器之心
內容字數：4107字

內容摘要：

機器之心專欄
機器之心編輯部合成數據持續解鎖大模型的數學推理潛力！數學問題解決能力一直被視為衡量語言模型智能水平的重要指標。通常只有規模極大的模型或經過大量數學相關預訓練的模型才能有機會在數學問題上表現出色。
近日，一項由 Swin-Transformer 團隊打造，來自西安交通大學、中國科學技術大學、清華大學和微軟亞洲研究院的學者共同完成的研究工作 Xwin 顛覆了這一認知，揭示了通用預訓練下 7B（即 70 億參數）規模的語言模型（LLaMA-2-7B）在數學問題解決方面已經展現出較強的潛力，并可使用基于合成數據的有監督微調方法促使模型愈發穩定地將數學能力激發出來。
這項研究發布在 arXiv 上，題為《Common 7B Language Models Already Possess Strong Math Capabilities》。論文鏈接：https://arxiv.org/pdf/2403.04706.pdf
代碼鏈接：https://github.com/Xwin-LM/Xwin-LM
研究團隊首先僅使用 7.5K 數據，對 LLaMA-2-7B 模型指令微調，進而測評

原文鏈接：LLaMA-2-7B數學能力上限已達97.7%？Xwin-Math利用合成數據解鎖潛力

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺