微軟&清華提出全新預訓練范式，指令預訓練讓8B模型實力暴漲！實力碾壓70B模型

AIGC動態歡迎閱讀

原標題：微軟&清華提出全新預訓練范式，指令預訓練讓8B模型實力暴漲！實力碾壓70B模型
關鍵字：指令,合成器,數據,模型,任務
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | 謝年年
現在的大模型訓練通常會包括兩個階段：
一是無監督的預訓練，即通過因果語言建模預測下一個token生成的概率。該方法無需標注數據，這意味著可以利用大規模的數據學習到語言的通用特征和模式。
二是指令微調，即通過自然語言指令構建的多樣任務對預訓練模型進行微調，顯著增強了任務泛化能力。
最近，微軟與清華提出了指令預訓練（Instruction Pre-Training）的新方法，該方法在第一階段引入指令—響應對的數據，采用監督多任務學習來探索預訓練語言模型的新途徑。
指令預訓練使Llama3-8B模型在部分領域上的表現甚至超越了Llama3-70B模型。
論文標題:Instruction Pre-Training: Language Models are Supervised Multitask Learners
論文鏈接：https://arxiv.org/pdf/2406.14491
github鏈接：https://github.com/microsoft/LMOps
可能有同學會擔心指令—響應對的數據從何而來，人工構建的話耗時耗力，如果是合成數據，其

原文鏈接：微軟&清華提出全新預訓練范式，指令預訓練讓8B模型實力暴漲！實力碾壓70B模型

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189