AIGC動態(tài)歡迎閱讀

原標題：8B尺寸達到GPT-4級性能！北大等提出醫(yī)療專家模型訓練方法
關鍵字：模型,任務,醫(yī)療,指令,數據
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：LRST
【新智元導讀】本文研究發(fā)現大語言模型在持續(xù)預訓練過程現目標領域性能先下降再上升的現象。本文引入「穩(wěn)定性差距」概念來解釋該現象，并提出了三種策略來緩解問題。首先，本文提出在適當大小的數據子集上進行多輪預訓練，能比單數據集預訓練更快的性能恢復。其次，應選取最高質量的子語料進行多輪預訓練。最后，通過混合數據來接近預訓練數據分布。這些策略在醫(yī)療領域的持續(xù)預訓練和指令精調中均顯著提升效果和削減計算量。相關Llama-3-Physician-8B模型現已開源于HuggingFace。大規(guī)模語言模型（LLMs）的持續(xù)預訓練是提升其在特定領域性能的重要方法。通過在新領域的語料庫上預訓練大語言模型，這一過程能夠顯著增加模型的領域知識儲備和任務能力。
然而，盡管已有許多研究探討了從頭預訓練的LLMs的學習機制和性質，關于持續(xù)預訓練過程中LLMs行為的研究卻相對較少。
最近北京大學、香港科技大學等開源了一個8B醫(yī)學大模型，通過測試模型在連續(xù)預訓練和指令微調實驗過程中的表現變化，發(fā)現了許多有趣的現象。論文鏈接：https://arxiv.org/abs/2406.14833

原文鏈接：8B尺寸達到GPT-4級性能！北大等提出醫(yī)療專家模型訓練方法

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發(fā)展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。