OpenAI“最后一篇”超級(jí)對(duì)齊論文發(fā)布：大小模型相互博弈，輸出可讀性u(píng)p

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：OpenAI“最后一篇”超級(jí)對(duì)齊論文發(fā)布：大小模型相互博弈，輸出可讀性u(píng)p
關(guān)鍵字：準(zhǔn)確率,模型,人類,團(tuán)隊(duì),解法
文章來源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

克雷西發(fā)自凹非寺量子位 | 公眾號(hào) QbitAI讓大小模型相互博弈，就能實(shí)現(xiàn)生成內(nèi)容可讀性的提升！
這是來自O(shè)penAI的正經(jīng)研究，目標(biāo)就是在保證準(zhǔn)確率的同時(shí)，讓模型輸出更容易被人理解。
用這種方法訓(xùn)練之后，人類對(duì)模型輸出的判斷準(zhǔn)確率明顯增長(zhǎng)，速度也變得更快了。
這項(xiàng)研究出自O(shè)penAI已解散的“超級(jí)對(duì)齊”團(tuán)隊(duì)，模仿了多倫多大學(xué)學(xué)者與2021年提出的“證明者-驗(yàn)證者”（Prover-Verifier）博弈。
在訓(xùn)練過程中，OpenAI讓大模型擔(dān)任“證明者”，小模型作為“驗(yàn)證者”，讓這兩種身份展開一場(chǎng)相互較量。
最終，大模型輸出的結(jié)果不僅更易理解，自身的準(zhǔn)確率也沒有明顯損失，小模型的判斷水平也提高了。
甚至論文作者之一、OpenAI研究員Yining Chen表示，這種方法“有可能使未來的模型比人類更聰明”。
值得一提的是，超級(jí)對(duì)齊團(tuán)隊(duì)原負(fù)責(zé)人、RLHF作者Jan Leike也參與了這項(xiàng)研究，他離職時(shí)曾炮轟OpenAI不重視安全。
不過，Jan Leike介紹這篇論文的推文最后，是給現(xiàn)在所在的Anthropic（Claude廠家）打廣告招兵買馬。
論文的另一名作者、OpenAI研究人

原文鏈接：OpenAI“最后一篇”超級(jí)對(duì)齊論文發(fā)布：大小模型相互博弈，輸出可讀性u(píng)p