用暫停token重新訓練大模型，AI學會三思而后行

AIGC動態(tài)歡迎閱讀

原標題：用暫停token重新訓練大模型，AI學會三思而后行

關鍵字：模型,任務,序列,階段,參數

文章來源：量子位

內容字數：2767字

內容摘要：夢晨 發(fā)自 凹非寺量子位 | 公眾號 QbitAI讓ChatGPT給出答案之前多想想步驟，就能提高準確率。那么能不能省去提示詞，直接把這種能力內化在大模型里呢？CMU與谷歌團隊的新研究，在訓練大模型時加入暫停token來實現這一點。實驗中，8項評測成績提升，其中SQuAD的EM得分提高18%，CommonSenseQA提高8%，GSM8k中的推理任務也提高1%。研究者Jack Hack表示，自己不…

原文鏈接：點此閱讀原文：用暫停token重新訓練大模型，AI學會三思而后行

聯(lián)系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業(yè)新突破