OpenAI Lilian Weng萬字長文解讀LLM幻覺：從理解到克服

AIGC動態(tài)歡迎閱讀

原標題：OpenAI Lilian Weng萬字長文解讀LLM幻覺：從理解到克服
關(guān)鍵字：模型,事實性,幻覺,樣本,問題
文章來源：機器之心
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

機器之心報道
編輯：Panda WLilian Weng 出品，必是精品。人會有幻覺，大型語言模型也會有幻覺。近日，OpenAI 安全系統(tǒng)團隊負責人 Lilian Weng 更新了博客，介紹了近年來在理解、檢測和克服 LLM 幻覺方面的諸多研究成果。Lilian Weng，中文名翁麗蓮，是 OpenAI 安全系統(tǒng)團隊負責人。她 2018 年加入 OpenAI，參與了 GPT-4 項目的預訓練、強化學習 & 對齊、模型安全等方面的工作。她的博客深入、細致，具有前瞻性，被很多 AI 研究者視為重要的參考資料（其他博客見文末擴展閱讀）。
大型語言模型的幻覺（Hallucination）通常是指該模型生成不真實、虛構(gòu)、不一致或無意義的內(nèi)容。現(xiàn)在，「幻覺」這個術(shù)語的含義已有所擴大，常被用于泛指模型出現(xiàn)錯誤的情況。本文所談到的「幻覺」是指其狹義含義：模型的輸出是虛構(gòu)編造的，并沒有基于所提供的上下文或世界知識。
幻覺有兩種類型：
上下文幻覺：模型輸出與上下文中的源內(nèi)容不一致。
外源性幻覺（extrinsic hallucination）：模型輸出應該以預訓練數(shù)據(jù)集為基礎(chǔ)。但是，由于預訓練數(shù)據(jù)集規(guī)模龐

原文鏈接：OpenAI Lilian Weng萬字長文解讀LLM幻覺：從理解到克服

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺