用慢思考提升模型安全性，北交大、鵬城實驗室提出系統2對齊

團隊通過提示工程、監督微調、DPO、RL等方法對系統2對齊方法進行探索。

原標題：用慢思考提升模型安全性，北交大、鵬城實驗室提出系統2對齊
文章來源：機器之心
內容字數：8317字

北京交通大學ADaM團隊：探索系統2對齊，提升大型語言模型安全性

本文總結了北京交通大學ADaM團隊的研究成果，該團隊探索了“系統2對齊”方法，以提升大型語言模型（LLM）的安全性，并對OpenAI的o1模型進行了安全性分析。

1. o1模型安全性分析

ADaM團隊首先分析了OpenAI的o1模型在應對復雜越獄攻擊（WildJailbreak和MathPrompt）的能力。研究發現，雖然o1模型的安全指南有助于提升安全性，但在推理過程中，模型偶爾會邏輯混亂，安全機制可能被繞過。此外，o1模型并非總是啟動安全推理模式，有時會錯誤拒絕良性請求。

2. 系統2對齊方法探索

ADaM團隊提出了“系統2對齊”的概念，這與OpenAI近期發布的“Deliberative Alignment”方法類似，旨在通過引導模型進行有意的、分析性的推理，以提升安全性。團隊嘗試了多種方法來實現系統2對齊，包括：

1. 提示工程：通過在推理過程中加入提示，引導模型進行更深入的思考。實驗表明，不同的模型可能需要不同的提示工程方法，這增加了部署難度。
2. 監督微調(SFT)：利用GPT-4o蒸餾出帶有思考過程的訓練數據，對模型進行微調。實驗結果顯示，該方法可以有效提升模型安全性，尤其是在Llama3-8B模型上表現出色。
3. 直接偏好優化(DPO)：直接利用偏好數據訓練模型，無需獎勵模型。實驗結果顯示DPO在安全性指標上有所提升，但同時也導致了過度拒絕良性請求的問題。
4. 基于結果監督的強化學習：訓練一個獎勵模型來評估模型的最終答案，并用強化學習方法優化模型策略。該方法在平衡安全性與實用性方面表現最佳。
5. 基于過程監督的強化學習：在推理的每一步都提供反饋，引導模型進行更安全、更準確的推理。該方法結合自對弈機制，進一步提升了模型的安全對齊能力。

3. 結論與展望

ADaM團隊的研究表明，系統2對齊可以有效提升傳統系統1模型的安全性。通過多種方法的結合，可以培養模型的批判性評估能力，從而增強模型的安全性。未來，研究將繼續探索更先進的系統2對齊方法，以應對日益復雜的模型安全挑戰，并促進模型從被動防護向主動推理的轉變。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺