OpenAI華人女科學(xué)家萬字詳解大模型「外在幻覺」

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：OpenAI華人女科學(xué)家萬字詳解大模型「外在幻覺」
關(guān)鍵字：模型,幻覺,事實(shí)性,報(bào)告,問題
文章來源：夕小瑤科技說
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

夕小瑤科技說 分享來源 | 量子位
大模型幻覺還分內(nèi)在、外在了——
OpenAI華人科學(xué)家翁荔最新Blog，提出LLM外在幻覺（extrinsic hallucination）。
有別于代指模型生成與現(xiàn)實(shí)不符、虛構(gòu)、不一致或者毫無意義的內(nèi)容，翁荔將LLM“幻覺”問題具體化為模型輸出內(nèi)容是虛構(gòu)的，并且不基于所提供的上下文或世界知識(shí)。
由此，幻覺有兩種類型：
上下文內(nèi)幻覺：模型輸出應(yīng)該與上下文中的源內(nèi)容一致（出現(xiàn)上下文內(nèi)幻覺時(shí)，輸出與源內(nèi)容不一致）。
外在幻覺：模型輸出應(yīng)該基于預(yù)訓(xùn)練數(shù)據(jù)集。然而，考慮到預(yù)訓(xùn)練數(shù)據(jù)集的規(guī)模，檢索并識(shí)別每次生成的沖突成本過高。如果將預(yù)訓(xùn)練數(shù)據(jù)集看作是世界知識(shí)的象征，那么本質(zhì)上是試圖確保模型輸出是事實(shí)性的并可以通過外部世界知識(shí)進(jìn)行驗(yàn)證。同樣重要的是，當(dāng)模型不了解某個(gè)事實(shí)時(shí)，它應(yīng)該明確表示不知道。
之前，翁荔還提出過Agent公式：Agent=大模型+記憶+主動(dòng)規(guī)劃+工具使用，被一些網(wǎng)友稱為是“看到的有關(guān)Agent的最好的文章”。
而這次關(guān)于大模型幻覺的這篇Blog，同樣“重工”，文章超長，足足24篇參考文獻(xiàn)：
翁荔重點(diǎn)關(guān)注外在幻覺，討論了三個(gè)問題：產(chǎn)生幻覺的原因

原文鏈接：OpenAI華人女科學(xué)家萬字詳解大模型「外在幻覺」

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業(yè)、有趣、深度價(jià)值導(dǎo)向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內(nèi)外機(jī)構(gòu)投資人，互聯(lián)網(wǎng)大廠中高管和AI公司創(chuàng)始人。一線作者來自清北、國內(nèi)外頂級AI實(shí)驗(yàn)室和大廠，兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務(wù)合作：zym5189