原標(biāo)題：讓「幻覺(jué)」無(wú)處遁形！谷歌DeepMind全新基準(zhǔn)，三代Gemini同臺(tái)霸榜
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：5575字

谷歌FACTS Grounding基準(zhǔn)測(cè)試：評(píng)估AI模型事實(shí)準(zhǔn)確性的新標(biāo)準(zhǔn)

1. **大模型的事實(shí)準(zhǔn)確性問(wèn)題:** 當(dāng)前的大型語(yǔ)言模型(LLM)雖然在文本生成方面表現(xiàn)出色，但其“胡說(shuō)八道”的問(wèn)題依然突出。由于用戶(hù)通常無(wú)法驗(yàn)證答案的準(zhǔn)確性，評(píng)估模型的事實(shí)準(zhǔn)確性(Factuality)成為一個(gè)重要挑戰(zhàn)。

2. **FACTS Grounding基準(zhǔn)測(cè)試的提出:** 為了解決這一問(wèn)題，谷歌研究人員推出了FACTS Grounding基準(zhǔn)測(cè)試，旨在評(píng)估LLM在給定上下文下生成事實(shí)準(zhǔn)確文本的能力。該基準(zhǔn)測(cè)試的獨(dú)特之處在于：它將用戶(hù)請(qǐng)求和完整的上下文文檔(最多32k個(gè)token)作為輸入，要求模型僅基于上下文內(nèi)容生成回復(fù)，并確?；貜?fù)滿(mǎn)足用戶(hù)需求。

3. **數(shù)據(jù)構(gòu)建與質(zhì)量保證:** FACTS Grounding數(shù)據(jù)集包含Public集合(860條)和Private集合(859條)。為了避免數(shù)據(jù)污染和作弊，競(jìng)賽期間僅公開(kāi)Public集合，最終排名基于兩個(gè)集合的平均性能。數(shù)據(jù)涵蓋多個(gè)領(lǐng)域，文檔長(zhǎng)度多樣，并經(jīng)過(guò)嚴(yán)格的人工審核，去除不符合指令的樣本和需要?jiǎng)?chuàng)造力/復(fù)雜推理的任務(wù)。數(shù)據(jù)來(lái)源避免了PDF文檔，以減少OCR錯(cuò)誤的影響。

4. **自動(dòng)化評(píng)估方法:** FACTS Grounding的自動(dòng)化評(píng)估包含兩個(gè)維度：1. 驗(yàn)證模型回復(fù)是否滿(mǎn)足用戶(hù)需求；2. 檢查回復(fù)是否完全基于給定文檔。 研究人員使用三個(gè)不同的LLM (Gemini 1.5 Pro,GPT-4,Claude 3.5 Sonnet) 進(jìn)行評(píng)估，并通過(guò)選擇一致性最高的提示模板來(lái)減少模型偏差。 評(píng)估指標(biāo)包括未調(diào)整的事實(shí)性得分(Unadjusted Factuality Score)和調(diào)整后的事實(shí)性得分(考慮了回復(fù)是否滿(mǎn)足用戶(hù)需求)。

5. **評(píng)估指標(biāo)與排名:** 未調(diào)整的事實(shí)性得分計(jì)算每個(gè)LLM的準(zhǔn)確回復(fù)百分比，并取平均值。 為了獲得最終排名，研究人員采用Condorcet方法融合六個(gè)指標(biāo)，結(jié)果與僅使用最終事實(shí)性得分排名一致。 實(shí)驗(yàn)結(jié)果顯示，排除無(wú)效回復(fù)會(huì)降低最終事實(shí)性得分(1%-5%)，并可能略微改變模型排名。

6. **FACTS Grounding的意義:** FACTS Grounding基準(zhǔn)測(cè)試為評(píng)估LLM的事實(shí)準(zhǔn)確性提供了一個(gè)新的、更嚴(yán)格的標(biāo)準(zhǔn)。它強(qiáng)調(diào)了基于上下文生成準(zhǔn)確回復(fù)的重要性，并有助于推動(dòng)LLM朝著更可靠、更值得信賴(lài)的方向發(fā)展。 其公開(kāi)的排行榜也促進(jìn)了模型的改進(jìn)和競(jìng)爭(zhēng)。

7. **數(shù)據(jù)污染的考量:** 雖然數(shù)據(jù)可能存在被預(yù)訓(xùn)練模型污染的風(fēng)險(xiǎn)，但研究人員認(rèn)為，用戶(hù)請(qǐng)求和僅使用上下文內(nèi)容的指令是相對(duì)“干凈”的。 這使得FACTS Grounding基準(zhǔn)測(cè)試在評(píng)估模型的實(shí)際應(yīng)用能力方面具有重要意義。

聯(lián)系作者

文章來(lái)源：新智元
作者微信：
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類(lèi)社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。