今日arXiv最熱NLP大模型論文：清華大學提出IFT對齊算法，打破SFT與RLHF局限性

AIGC動態歡迎閱讀

原標題：今日arXiv最熱NLP大模型論文：清華大學提出IFT對齊算法，打破SFT與RLHF局限性
關鍵字：模型,狀態,目標,數據,概率
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | 謝年年
監督微調（Supervised Fine-Tuning, SFT）和基于人類反饋的強化學習（Reinforcement Learning from Human Feedback, RLHF）是預訓練后提升語言模型能力的兩大基礎流程，其目標是使模型更貼近人類的偏好和需求。
考慮到監督微調的有效性有限，以及RLHF構建數據和計算成本高昂，這兩種方法常常被結合使用。但由于損失函數、數據格式的差異以及對輔助模型的需求，兩個方法之間存在范式鴻溝，僅能通過串聯的方法實現模型的訓練。
清華大學最近提出將SFT與RLHF合二為一，引入了一種統一的對齊算法，稱為直觀微調（Intuitive Fine-Tuning，IFT），它以類似人類的方式直觀地建立策略偏好估計，讓模型在看到問題后，能夠對完整答案有一個模糊的感知。相較于SFT，IFT更接近真實的策略偏好，因此在性能上達到了與SFT和RLHF結合使用相當甚至更好的對齊效果。
并且相比SFT+RLHF,RLHF僅依賴于正樣本和單個策略，從預訓練的基礎模型開始進行對齊，大大提高了計算效率，降低了訓練成本。
IFT無需額外

原文鏈接：今日arXiv最熱NLP大模型論文：清華大學提出IFT對齊算法，打破SFT與RLHF局限性

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189