AIGC動態歡迎閱讀

原標題：模型偏好只與大小有關？上交大全面解析人類與32種大模型偏好的定量組分
關鍵字：模型,人類,屬性,數據,用戶
文章來源：機器之心
內容字數：6028字

內容摘要：

機器之心專欄
機器之心編輯部在目前的模型訓練范式中，偏好數據的的獲取與使用已經成為了不可或缺的一環。在訓練中，偏好數據通常被用作對齊（alignment）時的訓練優化目標，如基于人類或 AI 反饋的強化學習（RLHF/RLAIF）或者直接偏好優化（DPO），而在模型評估中，由于任務的復雜性且通常沒有標準答案，則通常直接以人類標注者或高性能大模型（LLM-as-a-Judge）的偏好標注作為評判標準。
盡管上述對偏好數據的應用已經取得了廣泛的成效，但對偏好本身則缺乏充足的研究，這很大程度上阻礙了對更可信 AI 系統的構建。為此，上海交通大學生成式人工智能實驗室（GAIR）發布了一項新研究成果，對人類用戶與多達 32 種流行的大語言模型所展現出的偏好進行了系統性的全面解析，以了解不同來源的偏好數據是如何由各種預定義屬性（如無害，幽默，承認局限性等）定量組成的。
進行的分析有如下特點：
注重真實應用：研究中采用的數據均來源于真實的用戶 – 模型對話，更能反映實際應用中的偏好。
分場景建模：對屬于不同場景下的數據（如日常交流，創意寫作）進行建模分析，避免了不同場景之間的互相影響，結論更清晰

原文鏈接：模型偏好只與大小有關？上交大全面解析人類與32種大模型偏好的定量組分

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺