微調都不要了？3個樣本、1個提示搞定LLM對齊，提示工程師：全都回來了

AIGC動態歡迎閱讀

原標題：微調都不要了？3個樣本、1個提示搞定LLM對齊，提示工程師：全都回來了

關鍵字：報告,基礎,模型,研究者,樣本

文章來源：機器之心

內容字數：8670字

內容摘要：機器之心報道機器之心編輯部大模型的效果好不好，有時候對齊調優很關鍵。但近來很多研究開始探索無微調的方法，艾倫人工智能研究所和華盛頓大學的研究者用「免調優」對齊新方法超越了使用監督調優（SFT）和人類反饋強化學習（RLHF）的 LLM 性能。我們知道，僅在無監督文本語料庫上預訓練的基礎大語言模型（LLM）通常無法直接用作開源域的 AI 助手（如 ChatGPT）。因此，為了讓這些基礎的 LLM 成為有用且無害的 AI 助手，研究人員往往使用指令調優和偏好學習對它們進行微調。先來看下指令調優的定義，它是一種監督微調（SFT）過程，主要使用人工注釋或者從 GPT-4 等專有 LLM 中收集的數據。偏好學習則是一種典型的人類反饋強化學習（RLHF），它不斷地調優監督微調后的 LLM 以進一步對齊人類偏好。基于調優的對齊促使 LLM 顯著改進，似乎釋放了令人印象深刻的能力，并表明廣泛的微調對構建 A…

原文鏈接：點此閱讀原文：微調都不要了？3個樣本、1個提示搞定LLM對齊，提示工程師：全都回來了

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺