從RLHF到DPO再到TDPO，大模型對齊算法已經(jīng)是「token-level」

AIGC動態(tài)1年前 (2024)發(fā)布機器之心

AIGC動態(tài)歡迎閱讀

原標題：從RLHF到DPO再到TDPO，大模型對齊算法已經(jīng)是「token-level」
關鍵字：模型,函數(shù),建模,算法,表示
文章來源：機器之心
內容字數(shù)：0字

內容摘要：

AIxiv專欄是機器之心發(fā)布學術、技術內容的欄目。過去數(shù)年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進了學術交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com在人工智能領域的發(fā)展過程中，對大語言模型（LLM）的控制與指導始終是核心挑戰(zhàn)之一，旨在確保這些模型既強大又安全地服務于人類社會。早期的努力集中于通過人類反饋的強化學習方法（RLHF）來管理這些模型，成效顯著，標志著向更加人性化 AI 邁出的關鍵一步。
盡管 RLHF 取得了巨大成功，但是在訓練過程中 RLHF 非常消耗資源。因此，近段時間學者們在 RLHF 奠定的堅實基礎上，繼續(xù)探索更為簡單且高效的策略優(yōu)化路徑，催生了直接偏好優(yōu)化（DPO）的誕生。DPO 通過數(shù)學推理得到獎勵函數(shù)與最優(yōu)策略之間的直接映射，消除了獎勵模型的訓練過程，直接在偏好數(shù)據(jù)上優(yōu)化策略模型，實現(xiàn)了從「反饋到策略」的直觀飛躍。這不僅減少了復雜度，還增強了算法的穩(wěn)健性，迅速成為業(yè)界的新寵。
然而

原文鏈接：從RLHF到DPO再到TDPO，大模型對齊算法已經(jīng)是「token-level」