模型偏好只與大小有關(guān)？上交大全面解析人類與32種大模型偏好的定量組分

AIGC動態(tài)歡迎閱讀

原標(biāo)題：模型偏好只與大小有關(guān)？上交大全面解析人類與32種大模型偏好的定量組分
關(guān)鍵字：模型,人類,屬性,數(shù)據(jù),用戶
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：6028字

內(nèi)容摘要：

機(jī)器之心專欄
機(jī)器之心編輯部在目前的模型訓(xùn)練范式中，偏好數(shù)據(jù)的的獲取與使用已經(jīng)成為了不可或缺的一環(huán)。在訓(xùn)練中，偏好數(shù)據(jù)通常被用作對齊（alignment）時(shí)的訓(xùn)練優(yōu)化目標(biāo)，如基于人類或 AI 反饋的強(qiáng)化學(xué)習(xí)（RLHF/RLAIF）或者直接偏好優(yōu)化（DPO），而在模型評估中，由于任務(wù)的復(fù)雜性且通常沒有標(biāo)準(zhǔn)答案，則通常直接以人類標(biāo)注者或高性能大模型（LLM-as-a-Judge）的偏好標(biāo)注作為評判標(biāo)準(zhǔn)。
盡管上述對偏好數(shù)據(jù)的應(yīng)用已經(jīng)取得了廣泛的成效，但對偏好本身則缺乏充足的研究，這很大程度上阻礙了對更可信 AI 系統(tǒng)的構(gòu)建。為此，上海交通大學(xué)生成式人工智能實(shí)驗(yàn)室（GAIR）發(fā)布了一項(xiàng)新研究成果，對人類用戶與多達(dá) 32 種流行的大語言模型所展現(xiàn)出的偏好進(jìn)行了系統(tǒng)性的全面解析，以了解不同來源的偏好數(shù)據(jù)是如何由各種預(yù)定義屬性（如無害，幽默，承認(rèn)局限性等）定量組成的。
進(jìn)行的分析有如下特點(diǎn)：
注重真實(shí)應(yīng)用：研究中采用的數(shù)據(jù)均來源于真實(shí)的用戶 – 模型對話，更能反映實(shí)際應(yīng)用中的偏好。
分場景建模：對屬于不同場景下的數(shù)據(jù)（如日常交流，創(chuàng)意寫作）進(jìn)行建模分析，避免了不同場景之間的互相影響，結(jié)論更清晰

原文鏈接：模型偏好只與大小有關(guān)？上交大全面解析人類與32種大模型偏好的定量組分

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺