Deepmind 重磅開(kāi)源：消除幻覺(jué)，讓 LLMs 學(xué)會(huì)規(guī)則庫(kù)和多步推理

原標(biāo)題：Deepmind 重磅開(kāi)源：消除幻覺(jué)，讓 LLMs 學(xué)會(huì)規(guī)則庫(kù)和多步推理
文章來(lái)源：夕小瑤科技說(shuō)
內(nèi)容字?jǐn)?shù)：6603字

Google DeepMind開(kāi)源LLMs推理規(guī)則庫(kù)：攻克大模型幻覺(jué)難題

2024年12月，大模型發(fā)展如火如荼，但模型推理中的“幻覺(jué)”問(wèn)題依然是AI測(cè)評(píng)的焦點(diǎn)。Google DeepMind團(tuán)隊(duì)在圣誕節(jié)之際開(kāi)源了其關(guān)于LLMs訓(xùn)練規(guī)則推理庫(kù)的代碼，為解決這一難題提供了新的思路。該研究論文題目為《大型語(yǔ)言模型可以學(xué)習(xí)規(guī)則》(Large Language Models can Learn Rules)，其核心框架是“從假設(shè)到理論”（HtT，Hypotheses-to-Theories）。

1. 推理、事實(shí)與規(guī)則：基礎(chǔ)概念

文章首先闡述了推理、事實(shí)和規(guī)則之間的關(guān)系。推理是從事實(shí)推導(dǎo)規(guī)則的過(guò)程，事實(shí)是已知信息，規(guī)則是潛在的邏輯關(guān)系。推理分為演繹推理（事實(shí)+規(guī)則->事實(shí)）和歸納推理（事實(shí)+事實(shí)+…+事實(shí)->規(guī)則）。LLMs的訓(xùn)練過(guò)程可以視為歸納推理，而應(yīng)用規(guī)則進(jìn)行計(jì)算則為演繹推理。LLMs推理的難點(diǎn)在于如何有效匹配事實(shí)和對(duì)應(yīng)的規(guī)則。

2. 從假設(shè)到理論(HtT)框架

為了解決LLMs推理難題，DeepMind提出了HtT框架。該框架由歸納階段和演繹階段組成，兩者都通過(guò)少量樣本提示實(shí)現(xiàn)。

1. 歸納階段：從訓(xùn)練示例中學(xué)習(xí)規(guī)則，并根據(jù)覆蓋度和置信度過(guò)濾規(guī)則，形成規(guī)則庫(kù)。DeepMind提出了一種“從演繹中歸納”的方法，使用同一個(gè)演繹推理提示進(jìn)行規(guī)則生成和驗(yàn)證，提高了推理準(zhǔn)確率。

2. 演繹階段：利用歸納階段生成的規(guī)則庫(kù)來(lái)解決測(cè)試問(wèn)題。為了克服LLMs在檢索大量規(guī)則時(shí)的困難，DeepMind采用了一種層次化的規(guī)則庫(kù)組織方式，并使用XML標(biāo)簽進(jìn)行明確引用。

3. 推理測(cè)試與實(shí)驗(yàn)結(jié)果

DeepMind分別在關(guān)系推理、數(shù)值推理和概念學(xué)習(xí)三個(gè)任務(wù)上對(duì)HtT框架進(jìn)行了評(píng)估，并進(jìn)行了消融實(shí)驗(yàn)。

1. 關(guān)系推理：在CLUTRR數(shù)據(jù)集上，HtT顯著提高了GPT-3.5和GPT-4的準(zhǔn)確率。

2. 數(shù)值推理：在Arithmetic數(shù)據(jù)集上，HtT同樣提升了模型在非十進(jìn)制加法等問(wèn)題上的準(zhǔn)確率。

3. 概念學(xué)習(xí)：在List Functions數(shù)據(jù)集上，HtT提高了模型學(xué)習(xí)和應(yīng)用復(fù)雜規(guī)則的能力。

消融實(shí)驗(yàn)表明，HtT的性能提升主要源于減少了錯(cuò)誤規(guī)則的生成，并且學(xué)習(xí)到的規(guī)則并非隨機(jī)的。

4. 全文總結(jié)

HtT框架通過(guò)顯式學(xué)習(xí)和應(yīng)用規(guī)則，顯著提高了LLMs在各種推理任務(wù)上的性能，有效降低了“幻覺(jué)”問(wèn)題的發(fā)生。雖然HtT目前仍受限于模型基礎(chǔ)能力和上下文長(zhǎng)度，但其為解決LLMs推理問(wèn)題提供了新的方向，具有很大的發(fā)展?jié)摿Α?/p>

聯(lián)系作者

文章來(lái)源：夕小瑤科技說(shuō)
作者微信：
作者簡(jiǎn)介：低負(fù)擔(dān)解碼AI世界，硬核也可愛(ài)！聚集35萬(wàn)AI發(fā)燒友、開(kāi)發(fā)者和從業(yè)者，廣泛覆蓋互聯(lián)網(wǎng)大廠中高管、AI公司創(chuàng)始人和機(jī)構(gòu)投資人。一線作者來(lái)自清北、國(guó)內(nèi)外頂級(jí)AI實(shí)驗(yàn)室和大廠，兼?zhèn)涿翡J的行業(yè)嗅覺(jué)和洞察深度。商務(wù)合作：zym5189