找出9.9<9.11的真正原因：《》！神經(jīng)元干預(yù)可免重訓(xùn)練修復(fù)

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：找出9.9<9.11的真正原因：《》！神經(jīng)元干預(yù)可免重訓(xùn)練修復(fù)
關(guān)鍵字：神經(jīng)元,解讀,模型,,
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

衡宇 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI大模型分不清“9.9和9.11哪個(gè)更大”的謎團(tuán)，終于被可解釋性研究揭秘了！
而且簡(jiǎn)單到讓人哭笑不得——
一個(gè)來(lái)自MIT、UC伯克利的實(shí)驗(yàn)室團(tuán)隊(duì)，開(kāi)發(fā)了能抑制大模型體內(nèi)某些（與具體概念相關(guān)的）神經(jīng)元的AI工具。
他們發(fā)現(xiàn)，只要把與《》、日期、重力等概念相關(guān)的神經(jīng)元激活設(shè)為0，大模型立馬能答對(duì)這道比較題。單單是拿走《》相關(guān)神經(jīng)元，就可以讓“9.9和9.11哪個(gè)更大”這個(gè)問(wèn)題的準(zhǔn)確率，提高21個(gè)百分點(diǎn)！
而且修復(fù)這個(gè)bug，既不需要重新訓(xùn)練模型，也不需要添加額外提示詞。
網(wǎng)友看了過(guò)后哭笑不得：
救大命了，看完過(guò)后我覺(jué)得這些因素都挺明顯的，但在此之前我從未朝這上面想過(guò)。
這家AI實(shí)驗(yàn)室名叫Transluce AI，團(tuán)隊(duì)成員也趁機(jī)悉數(shù)亮相，創(chuàng)始團(tuán)隊(duì)來(lái)自MIT、UC伯克利、CMU等頂尖高校。
其中還有OpenAI和谷歌大腦的前員工。
揭秘是什么讓大模型說(shuō)“9.8<9.11”大模型硬說(shuō)9.9<9.11這件事，想必大家都知道了。
直至今日，Claude-3.5-Sonnet和GPT-4o這樣的頂尖模型，依舊固執(zhí)地這樣認(rèn)為（或者出

原文鏈接：找出9.9<9.11的真正原因：《》！神經(jīng)元干預(yù)可免重訓(xùn)練修復(fù)

聯(lián)系作者

文章來(lái)源：量子位
作者微信：
作者簡(jiǎn)介：