用暫停token重新訓(xùn)練大模型，AI學(xué)會(huì)三思而后行

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：用暫停token重新訓(xùn)練大模型，AI學(xué)會(huì)三思而后行

關(guān)鍵字：模型,任務(wù),序列,階段,參數(shù)

文章來源：量子位

內(nèi)容字?jǐn)?shù)：2767字

內(nèi)容摘要：夢(mèng)晨 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI讓ChatGPT給出答案之前多想想步驟，就能提高準(zhǔn)確率。那么能不能省去提示詞，直接把這種能力內(nèi)化在大模型里呢？CMU與谷歌團(tuán)隊(duì)的新研究，在訓(xùn)練大模型時(shí)加入暫停token來實(shí)現(xiàn)這一點(diǎn)。實(shí)驗(yàn)中，8項(xiàng)評(píng)測(cè)成績(jī)提升，其中SQuAD的EM得分提高18%，CommonSenseQA提高8%，GSM8k中的推理任務(wù)也提高1%。研究者Jack Hack表示，自己不…

原文鏈接：點(diǎn)此閱讀原文：用暫停token重新訓(xùn)練大模型，AI學(xué)會(huì)三思而后行

聯(lián)系作者

文章來源：量子位

作者微信：QbitAI

作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破