8B尺寸達到GPT-4級性能！北大等提出醫療專家模型訓練方法

AIGC動態歡迎閱讀

原標題：8B尺寸達到GPT-4級性能！北大等提出醫療專家模型訓練方法
關鍵字：模型,任務,醫療,指令,數據
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：LRST
【新智元導讀】本文研究發現大語言模型在持續預訓練過程現目標領域性能先下降再上升的現象。本文引入「穩定性差距」概念來解釋該現象，并提出了三種策略來緩解問題。首先，本文提出在適當大小的數據子集上進行多輪預訓練，能比單數據集預訓練更快的性能恢復。其次，應選取最高質量的子語料進行多輪預訓練。最后，通過混合數據來接近預訓練數據分布。這些策略在醫療領域的持續預訓練和指令精調中均顯著提升效果和削減計算量。相關Llama-3-Physician-8B模型現已開源于HuggingFace。大規模語言模型（LLMs）的持續預訓練是提升其在特定領域性能的重要方法。通過在新領域的語料庫上預訓練大語言模型，這一過程能夠顯著增加模型的領域知識儲備和任務能力。
然而，盡管已有許多研究探討了從頭預訓練的LLMs的學習機制和性質，關于持續預訓練過程中LLMs行為的研究卻相對較少。
最近北京大學、香港科技大學等開源了一個8B醫學大模型，通過測試模型在連續預訓練和指令微調實驗過程中的表現變化，發現了許多有趣的現象。論文鏈接：https://arxiv.org/abs/2406.14833

原文鏈接：8B尺寸達到GPT-4級性能！北大等提出醫療專家模型訓練方法