LLM對齊數據全自動合成！UW華人博士生提出Magpie方法，Macbook Air即可運行

AIGC動態歡迎閱讀

原標題：LLM對齊數據全自動合成！UW華人博士生提出Magpie方法，Macbook Air即可運行
關鍵字：指令,數據,模型,質量,論文
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：喬楊
【新智元導讀】華盛頓大學和Allen AI最近發表的論文提出了一種新穎有趣的數據合成方法。他們發現，充分利用LLM的自回歸特性，可以引導模型自動生成高質量的指令微調數據。數據對LLM訓練而言是至關重要的存在，但我們的關注點往往放在訓練和評估數據，而會忽略微調數據。
比如Llama系列模型，雖然開放了權重（如Llama-3-Instruct），但微調數據集依舊是私有的。
LLM的成功有很大一部分取決于指令微調（instruction fine-tuning），這個過程能讓模型更好地泛化到訓練過程中沒有接觸過的任務。
正如訓練的有效性依賴于訓練語料的質量，指令微調的有效性也取決于能否獲得高質量的指令數據集。
然而，相比于無標注的自監督訓練語料，高質量微調和對齊數據集更加難以構建、擴展，因為需要更多人工標注，而且存在預先定義的提示范圍。
就連專門為AI科技巨頭提供數據的公司Scale AI，在目前階段都無法實現自動化標注，甚至得高薪聘請專業人士參與微調和對齊數據集的構建。
Scale AI的CEO Alexandr Wang曾表示，LLM合成數據是一個很有前景的解決方

原文鏈接：LLM對齊數據全自動合成！UW華人博士生提出Magpie方法，Macbook Air即可運行

聯系作者

文章來源：新智元
作者微信：
作者簡介：