DPO與PPO：揭開大語言模型對(duì)齊的未來之謎

作者認(rèn)為DPO不能干掉PPO，至少現(xiàn)在還不能。

原標(biāo)題：DPO vs PPO：深度解讀誰是LLM Alignment的未來
文章來源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：4505字

從 PPO 到 DPO 的推導(dǎo)與比較

本文探討了 DPO（Direct Preference Optimization）與 PPO（Proximal Policy Optimization）在大語言模型（LLM）對(duì)齊中的應(yīng)用與比較。DPO 因其簡化的流程與較低的計(jì)算成本而受到關(guān)注，但它是否能真正取代 PPO 是一個(gè)值得深入探討的問題。

1. PPO 的最優(yōu)策略形式

PPO 的最優(yōu)策略在 KL 正則化約束下可以被表示為一個(gè)特定形式，其中包含分區(qū)函數(shù)用于歸一化。通過重參數(shù)化，DPO 隱式建模了獎(jiǎng)勵(lì)函數(shù)，試圖簡化這一過程。

2. DPO 的潛在缺陷

盡管 DPO 在某些學(xué)術(shù)基準(zhǔn)測試中表現(xiàn)出色，但它在實(shí)際應(yīng)用中仍存在若干缺陷：

• Distribution Shift: DPO 假設(shè)參考分布能夠準(zhǔn)確捕捉偏好數(shù)據(jù)分布，但實(shí)際上二者常常存在偏移，可能導(dǎo)致模型在分布外數(shù)據(jù)上的表現(xiàn)不佳。
• Reward Hacking Risk: DPO 的隱式建模可能引發(fā)額外的 reward hacking 問題，尤其在偏好數(shù)據(jù)不足時(shí)，可能誤判分布外樣本。
• Lack of Partition Function: DPO 省略了分區(qū)函數(shù)的影響，這一假設(shè)在訓(xùn)練分布稀疏或偏移時(shí)可能不成立，導(dǎo)致優(yōu)化目標(biāo)偏差。

3. 具體實(shí)例分析

通過一個(gè)披薩店的實(shí)例，PPO 像一個(gè)嚴(yán)謹(jǐn)?shù)呐笥眩瑤椭脩糇龀鼋?jīng)過深思熟慮的選擇，而 DPO 則像一個(gè)隨意的朋友，可能會(huì)推薦一些不合理的選項(xiàng)，導(dǎo)致用戶后悔。PPO 的歸一化確保了概率分布的合理性，而 DPO 的簡化可能導(dǎo)致過高權(quán)重賦予稀有選項(xiàng)。

總結(jié)

綜上所述，盡管 DPO 具有一定的優(yōu)勢(shì)，但在當(dāng)前的技術(shù)背景下，PPO 仍然在許多方面表現(xiàn)得更加穩(wěn)健。因此，DPO 不能完全取代 PPO，尤其是在處理復(fù)雜的分布和偏好數(shù)據(jù)時(shí)。

聯(lián)系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下公眾號(hào)之一，深入關(guān)注大模型與AI智能體，及時(shí)搜羅生成式AI技術(shù)產(chǎn)品。