數(shù)學(xué)問(wèn)題難解？新研究提出MathScale方法，讓AI更懂?dāng)?shù)學(xué)推理

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：數(shù)學(xué)問(wèn)題難解？新研究提出MathScale方法，讓AI更懂?dāng)?shù)學(xué)推理
關(guān)鍵字：數(shù)學(xué),知識(shí)點(diǎn),數(shù)據(jù),問(wèn)題,主題
文章來(lái)源：夕小瑤科技說(shuō)
內(nèi)容字?jǐn)?shù)：7537字

內(nèi)容摘要：

夕小瑤科技說(shuō) 原創(chuàng)編輯 | 松果
引言：數(shù)學(xué)問(wèn)題解決中的語(yǔ)言模型挑戰(zhàn)數(shù)學(xué)問(wèn)題解決是一個(gè)復(fù)雜的認(rèn)知過(guò)程，它要求參與者不僅要掌握數(shù)學(xué)知識(shí)，還要能夠進(jìn)行多步驟的邏輯推理。近年來(lái)，大語(yǔ)言模型（LLMs）在解決問(wèn)題方面展現(xiàn)出了顯著的能力，但在數(shù)學(xué)問(wèn)題解決方面的表現(xiàn)仍然不盡人意。這可能是因?yàn)閿?shù)學(xué)問(wèn)題解決本質(zhì)上需要復(fù)雜的多步驟推理，而這正是當(dāng)前LLMs所缺乏的。
盡管通過(guò)指令調(diào)整（Instruction Tuning）可以在一定程度上提升LLMs的數(shù)學(xué)解決能力，但現(xiàn)有的數(shù)學(xué)推理數(shù)據(jù)集規(guī)模有限，這限制了模型能力的進(jìn)一步提升。例如，目前最受歡迎的數(shù)學(xué)數(shù)據(jù)集GSM8K和MATH，每個(gè)數(shù)據(jù)集的訓(xùn)練樣本數(shù)量?jī)H為約7.5K。為了解決這一挑戰(zhàn)，研究者們嘗試使用先進(jìn)的LLMs（如GPT-3.5和GPT-4）來(lái)擴(kuò)充現(xiàn)有的高質(zhì)量數(shù)學(xué)數(shù)據(jù)集，但這些方法生成的新例子與原始訓(xùn)練集中的例子相似度過(guò)高，限制了它們?cè)谏纱笠?guī)模數(shù)學(xué)數(shù)據(jù)集方面的能力。
論文標(biāo)題: MathScale: Scaling Instruction Tuning for Mathematical Reasoning
論文鏈接: https://arxiv.o

原文鏈接：數(shù)學(xué)問(wèn)題難解？新研究提出MathScale方法，讓AI更懂?dāng)?shù)學(xué)推理

聯(lián)系作者

文章來(lái)源：夕小瑤科技說(shuō)
作者微信：xixiaoyaoQAQ
作者簡(jiǎn)介：更快的AI前沿，更深的行業(yè)洞見(jiàn)。聚集25萬(wàn)AI一線開(kāi)發(fā)者、互聯(lián)網(wǎng)中高管和機(jī)構(gòu)投資人。一線作者來(lái)自清北、國(guó)內(nèi)外頂級(jí)AI實(shí)驗(yàn)室和大廠，兼?zhèn)湫袠I(yè)嗅覺(jué)與報(bào)道深度。