AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：70億LLaMA媲美5400億PaLM！MIT驚人研究用「博弈論」改進(jìn)大模型｜ICLR 2024
關(guān)鍵字：模型,生成器,,游戲,答案
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：7970字

內(nèi)容摘要：

新智元報(bào)道編輯：桃子
【新智元導(dǎo)讀】大模型回答如何更可靠？MIT研究團(tuán)隊(duì)設(shè)計(jì)出「博弈」，將數(shù)學(xué)家常用的博弈論引入LLM改進(jìn)中。沒想到，LLaMA-7B的表現(xiàn)，擊敗了LLaMA-65B，甚至與PaLM-540B相媲美。遇到一個(gè)問題用不同表達(dá)方式prompt時(shí)，大模型往往會(huì)給出兩種不同的答案。
比如，「秘魯?shù)氖锥际鞘裁础梗咐R是秘魯?shù)氖锥紗帷埂?br />對(duì)于這種回答不一致的問題，科學(xué)家們紛紛為大模型的「智商」擔(dān)憂起來(lái)。
正如了LeCun所言：
LLM確實(shí)比狗積累了更多的事實(shí)知識(shí)和語(yǔ)言能力。但是它們對(duì)物理世界的理解能力，以及推理規(guī)劃能力，遠(yuǎn)遠(yuǎn)不及狗。
那么，有沒有一種方式，能夠大模型幻覺，讓結(jié)果更加準(zhǔn)確、高效？
來(lái)自MIT的研究人員，將「博弈論」的思想引入大模型的改進(jìn)中。
他們共同設(shè)計(jì)了一個(gè)游戲，在游戲中，讓模型的兩種模式（生成式和判別式）相互對(duì)抗，努力找到它們可以達(dá)成一致的答案。
這個(gè)簡(jiǎn)單的博弈過(guò)程，被稱為「博弈」（CONSENSUS GAME）。
也就是，讓模型自我對(duì)抗，以提升LLM準(zhǔn)確性和內(nèi)部一致性。
論文地址：https://openreview.net/pdf?id=n9x

原文鏈接：70億LLaMA媲美5400億PaLM！MIT驚人研究用「博弈論」改進(jìn)大模型｜ICLR 2024

聯(lián)系作者

文章來(lái)源：新智元
作者微信：AI_era
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。