MathGLM

MathGLM官網(wǎng)

智譜AI推數(shù)學(xué)模型MathGLM 部分表現(xiàn)超GPT4。它可以在不使用計算器工具的情況下，執(zhí)行復(fù)雜算術(shù)運(yùn)算，解答中文數(shù)學(xué)應(yīng)用題，部分表現(xiàn)超過GPT4和ChatGPT。

網(wǎng)站服務(wù)：AI大模型平臺，AI大模型，mathglm，數(shù)學(xué)大模型，解決數(shù)學(xué)問題，modelscope，魔搭社區(qū)，模型，AI大模型平臺，mathglm。

MathGLM簡介

匯聚各領(lǐng)域最先進(jìn)的機(jī)器學(xué)習(xí)模型，提供模型探索體驗、推理、訓(xùn)練、部署和應(yīng)用的一站式服務(wù)。

MathGLM 包含 10M、100M、500M、2B 等多個參數(shù)版本，具備處理最多 12 位數(shù)字的運(yùn)算能力。而且有測評結(jié)果顯示，通過充分的數(shù)據(jù)訓(xùn)練，MathGLM-2B 可以準(zhǔn)確執(zhí)行多位數(shù)的算術(shù)運(yùn)算，準(zhǔn)確率高達(dá) 93.03%（接近 100%），顯著超越 GPT-4 在相同測試數(shù)據(jù)上 18.84% 的準(zhǔn)確率。10 億參數(shù)版本的 MathGLM-10B 則在 5000 條中文數(shù)學(xué)應(yīng)用題的測試數(shù)據(jù)集上實現(xiàn)了接近 GPT-4 的性能。

MathGLM 出色的表現(xiàn)，離不開其在模型架構(gòu)、數(shù)據(jù)集等方面的一系列創(chuàng)新。

針對算術(shù)任務(wù)，研發(fā)團(tuán)隊采用 Transformer 的 decoder 架構(gòu)，并使用自回歸目標(biāo)在生成的算術(shù)數(shù)據(jù)集上從頭訓(xùn)練。算術(shù)訓(xùn)練數(shù)據(jù)集包含各類算術(shù)任務(wù)、各種運(yùn)算符（含加法、減法、乘法、除法和求冪）、多種數(shù)字格式（含整數(shù)、小數(shù)、百分比、分?jǐn)?shù)和負(fù)數(shù)）。研發(fā)團(tuán)隊還采用分步計算策略對該數(shù)據(jù)集進(jìn)行了重構(gòu)，并且讓單個算術(shù)表達(dá)式由 2 到 10 個運(yùn)算步驟組成，以方便 MathGLM 對每個中間結(jié)果進(jìn)行準(zhǔn)確計算，從而得到每個算術(shù)表達(dá)式的正確答案。

評測結(jié)果顯示，MathGLM 在一個包含 9592 條測試用例、專門為算術(shù)任務(wù)量身定制的數(shù)據(jù)集上的表現(xiàn)，顯著優(yōu)于 GPT4 和 ChatGPT。

針對更復(fù)雜的數(shù)學(xué)問題——中文應(yīng)用題，研發(fā)團(tuán)隊微調(diào)了一系列以 GLM 為基座模型、用于解決數(shù)學(xué)應(yīng)用題的 MathGLM。

訓(xùn)練過程中使用了一個包含 21 萬道中文小學(xué)數(shù)學(xué)題的高質(zhì)量數(shù)據(jù)集 Ape210K，但其不足之處在于每個題的答案都是直接計算得出，缺乏相應(yīng)的計算過程。因此，研發(fā)團(tuán)隊采用分步策略對 Ape210K 數(shù)據(jù)集進(jìn)行了重構(gòu)，方便 MathGLM 深入理解和學(xué)習(xí)潛在的計算邏輯和規(guī)則，逐步計算出每個數(shù)學(xué)問題的答案，提升最終答案的準(zhǔn)確性。

此外，研發(fā)團(tuán)隊還使用 ChatGLM-6B 和 ChatGLM2-6B 作為基座模型來訓(xùn)練 MathGLM，賦予 MathGLM 基本的語言理解能力，使其能夠有效理解數(shù)學(xué)應(yīng)用題中包含的語言信息。

在 Ape210K 數(shù)據(jù)集上進(jìn)行測試的結(jié)果顯示，MathGLM 模型在答案準(zhǔn)確性方面已接近 GPT-4。在一個包含 1-6 年級數(shù)學(xué)應(yīng)用題的數(shù)據(jù)集 K6 上進(jìn)行評測的結(jié)果顯示，MathGLM 相比于其他中文模型（GPT-4、ChatGPT、Chinese-Alpaca-13B、MOSS-16B、Ziya-LLaMA-13B、Baichuan-7B 等），呈現(xiàn)出了更強(qiáng)的數(shù)學(xué)推理能力。

為方便開發(fā)者快速上手體驗 MathGLM，魔搭社區(qū)第一時間推出了模型體驗、推理實踐教程。

MathGLM官網(wǎng)入口網(wǎng)址

https://modelscope.cn/models

OpenI小編發(fā)現(xiàn)MathGLM網(wǎng)站非常受用戶歡迎，請訪問MathGLM網(wǎng)址入口試用。