<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        8B尺寸達(dá)到GPT-4級(jí)性能!北大等提出醫(yī)療專家模型訓(xùn)練方法

        AIGC動(dòng)態(tài)1年前 (2024)發(fā)布 新智元
        462 0 0

        8B尺寸達(dá)到GPT-4級(jí)性能!北大等提出醫(yī)療專家模型訓(xùn)練方法

        AIGC動(dòng)態(tài)歡迎閱讀

        原標(biāo)題:8B尺寸達(dá)到GPT-4級(jí)性能!北大等提出醫(yī)療專家模型訓(xùn)練方法
        關(guān)鍵字:模型,任務(wù),醫(yī)療,指令,數(shù)據(jù)
        文章來(lái)源:新智元
        內(nèi)容字?jǐn)?shù):0字

        內(nèi)容摘要:


        新智元報(bào)道編輯:LRST
        【新智元導(dǎo)讀】本文研究發(fā)現(xiàn)大語(yǔ)言模型在持續(xù)預(yù)訓(xùn)練過(guò)程現(xiàn)目標(biāo)領(lǐng)域性能先下降再上升的現(xiàn)象。本文引入「穩(wěn)定性差距」概念來(lái)解釋該現(xiàn)象,并提出了三種策略來(lái)緩解問(wèn)題。首先,本文提出在適當(dāng)大小的數(shù)據(jù)子集上進(jìn)行多輪預(yù)訓(xùn)練,能比單數(shù)據(jù)集預(yù)訓(xùn)練更快的性能恢復(fù)。其次,應(yīng)選取最高質(zhì)量的子語(yǔ)料進(jìn)行多輪預(yù)訓(xùn)練。最后,通過(guò)混合數(shù)據(jù)來(lái)接近預(yù)訓(xùn)練數(shù)據(jù)分布。這些策略在醫(yī)療領(lǐng)域的持續(xù)預(yù)訓(xùn)練和指令精調(diào)中均顯著提升效果和削減計(jì)算量。相關(guān)Llama-3-Physician-8B模型現(xiàn)已開(kāi)源于HuggingFace。大規(guī)模語(yǔ)言模型(LLMs)的持續(xù)預(yù)訓(xùn)練是提升其在特定領(lǐng)域性能的重要方法。通過(guò)在新領(lǐng)域的語(yǔ)料庫(kù)上預(yù)訓(xùn)練大語(yǔ)言模型,這一過(guò)程能夠顯著增加模型的領(lǐng)域知識(shí)儲(chǔ)備和任務(wù)能力。
        然而,盡管已有許多研究探討了從頭預(yù)訓(xùn)練的LLMs的學(xué)習(xí)機(jī)制和性質(zhì),關(guān)于持續(xù)預(yù)訓(xùn)練過(guò)程中LLMs行為的研究卻相對(duì)較少。
        最近北京大學(xué)、香港科技大學(xué)等開(kāi)源了一個(gè)8B醫(yī)學(xué)大模型,通過(guò)測(cè)試模型在連續(xù)預(yù)訓(xùn)練和指令微調(diào)實(shí)驗(yàn)過(guò)程中的表現(xiàn)變化,發(fā)現(xiàn)了許多有趣的現(xiàn)象。論文鏈接:https://arxiv.org/abs/2406.14833


        原文鏈接:8B尺寸達(dá)到GPT-4級(jí)性能!北大等提出醫(yī)療專家模型訓(xùn)練方法

        聯(lián)系作者

        文章來(lái)源:新智元
        作者微信:AI_era
        作者簡(jiǎn)介:智能+中國(guó)主平臺(tái),致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展,關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響,領(lǐng)航中國(guó)新智能時(shí)代。

        閱讀原文
        ? 版權(quán)聲明
        蟬鏡AI數(shù)字人

        相關(guān)文章

        蟬鏡AI數(shù)字人

        暫無(wú)評(píng)論

        暫無(wú)評(píng)論...
        主站蜘蛛池模板: a级片免费观看视频| 亚洲精品乱码久久久久久下载| 亚洲日韩乱码久久久久久| 四虎国产精品免费永久在线| 久久久久亚洲精品中文字幕| 美女黄色免费网站| 亚洲精品WWW久久久久久| gogo免费在线观看| 国产亚洲色婷婷久久99精品| a级片免费观看视频| 亚洲视频在线视频| 精品久久久久久久久免费影院| 中文字幕亚洲综合久久菠萝蜜 | 亚洲欧美成人一区二区三区| 成人午夜视频免费| 美女视频黄a视频全免费网站色| 免费中文字幕不卡视频| 一个人看www免费高清字幕| 亚洲精品tv久久久久久久久 | 在线不卡免费视频| 亚洲中文字幕日产乱码高清app| 91在线免费视频| 91亚洲国产成人精品下载| 免费无码AV片在线观看软件| 在线播放亚洲精品| 亚洲国产一成人久久精品| 日韩亚洲国产高清免费视频| 亚洲爆乳无码精品AAA片蜜桃| 亚洲国产精品一区二区第四页| 国产免费一区二区三区不卡| 亚洲午夜电影一区二区三区| 国产精品无码免费视频二三区| a在线视频免费观看在线视频三区| 久久久久亚洲精品无码蜜桃| 卡1卡2卡3卡4卡5免费视频| 国产久爱免费精品视频| 亚洲三级中文字幕| 亚洲午夜AV无码专区在线播放 | 亚洲电影一区二区| 成年女人毛片免费播放视频m| CAOPORN国产精品免费视频|