突破性微調(diào)技術(shù)：8B小模型挑戰(zhàn)GPT-4o，科學(xué)問題準確率飆升28%！

原標題：清華UCSD提出全新微調(diào)方法，8B小模型媲美GPT-4o！科學(xué)問題正確率提高28%
文章來源：新智元
內(nèi)容字數(shù)：6020字

1. 引言

最近，來自加州大學(xué)圣地亞哥分校（UCSD）和清華大學(xué)的研究團隊提出了一種新的微調(diào)方法，使得一個僅有80億參數(shù)的小型模型在科學(xué)問題上能夠與GPT-4o相媲美。這一研究挑戰(zhàn)了AI開發(fā)中“更大模型必然更好”的傳統(tǒng)觀念，強調(diào)了模型在使用外部工具和依賴內(nèi)部知識之間進行合理選擇的重要性。

2. 微調(diào)方法概述

該微調(diào)方法由兩部分組成：世界知識蒸餾（WKD）和工具使用適應(yīng)（TUA）。在WKD中，模型通過學(xué)習使用工具生成的解答來積累特定領(lǐng)域的知識。TUA則幫助模型根據(jù)問題的復(fù)雜性判斷是否使用工具，提升了模型的效率和準確性。

3. 實驗與評估

研究團隊使用Llama-3.1-8B-Instruct作為基礎(chǔ)模型，評估了多種開源和閉源模型的表現(xiàn)。通過使用現(xiàn)有的MATH和SciBench數(shù)據(jù)集以及自定義的科學(xué)數(shù)據(jù)集（Mujoco、偏微分方程、氣候科學(xué)和流行病學(xué)），研究人員檢驗了微調(diào)方法的有效性。

4. 研究成果

結(jié)果顯示，微調(diào)后的模型在測試數(shù)據(jù)集上實現(xiàn)了28.18%的答案準確率提升和13.89%的工具使用精度提高。與未微調(diào)的基礎(chǔ)模型相比，微調(diào)方法在自定義數(shù)據(jù)集上表現(xiàn)顯著優(yōu)于所有基準模型。

5. 結(jié)論

這一研究表明，教會AI在使用外部工具和依賴內(nèi)部知識之間進行判斷，可能比單純增加計算能力更為重要。未來的AI研究應(yīng)更注重模型的智能決策能力，以提高其在科學(xué)問題解決中的效率和準確性。

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展，關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響，領(lǐng)航中國新智能時代。