OpenAI華人女科學家萬字詳解大模型「外在幻覺」

AIGC動態歡迎閱讀

原標題：OpenAI華人女科學家萬字詳解大模型「外在幻覺」
關鍵字：模型,幻覺,事實性,報告,問題
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 分享來源 | 量子位
大模型幻覺還分內在、外在了——
OpenAI華人科學家翁荔最新Blog，提出LLM外在幻覺（extrinsic hallucination）。
有別于代指模型生成與現實不符、虛構、不一致或者毫無意義的內容，翁荔將LLM“幻覺”問題具體化為模型輸出內容是虛構的，并且不基于所提供的上下文或世界知識。
由此，幻覺有兩種類型：
上下文內幻覺：模型輸出應該與上下文中的源內容一致（出現上下文內幻覺時，輸出與源內容不一致）。
外在幻覺：模型輸出應該基于預訓練數據集。然而，考慮到預訓練數據集的規模，檢索并識別每次生成的沖突成本過高。如果將預訓練數據集看作是世界知識的象征，那么本質上是試圖確保模型輸出是事實性的并可以通過外部世界知識進行驗證。同樣重要的是，當模型不了解某個事實時，它應該明確表示不知道。
之前，翁荔還提出過Agent公式：Agent=大模型+記憶+主動規劃+工具使用，被一些網友稱為是“看到的有關Agent的最好的文章”。
而這次關于大模型幻覺的這篇Blog，同樣“重工”，文章超長，足足24篇參考文獻：
翁荔重點關注外在幻覺，討論了三個問題：產生幻覺的原因

原文鏈接：OpenAI華人女科學家萬字詳解大模型「外在幻覺」

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189