大模型幻覺問題無解？理論證明校準的LM必然會出現幻覺

AIGC動態歡迎閱讀

原標題：大模型幻覺問題無解？理論證明校準的LM必然會出現幻覺
關鍵字：幻覺,模型,事實,語言,概率
文章來源：機器之心
內容字數：8768字

內容摘要：

機器之心報道
編輯：Panda W理論證明！校準的語言模型必然出現幻覺。大型語言模型（LLM）雖然在諸多下游任務上展現出卓越的能力，但其實際應用還存在一些問題。其中，LLM 的「幻覺（hallucination）」問題是一個重要缺陷。
幻覺是指由人工智能算法生成看似合理但卻虛假或有誤導性的響應。自 LLM 爆火以來，研究人員一直在努力分析和緩解幻覺問題，該問題讓 LLM 很難廣泛應用。
現在，一項新研究得出結論：「經過校準的語言模型必然會出現幻覺。」研究論文是微軟研究院高級研究員 Adam Tauman Kalai 和佐治亞理工學院教授 Santosh S. Vempala 近日發表的《Calibrated Language Models Must Hallucinate》。該論文表明預訓練語言模型對特定類型的事實產生幻覺存在一個固有的統計學原因，而與 Transformer 架構或數據質量無關。論文地址：https://arxiv.org/abs/2311.14648一個語言模型其實就是在 token 序列（如詞或其它字符序列）上的一個概率分布 D。每個分布 D 都可以等效地表示成其

原文鏈接：大模型幻覺問題無解？理論證明校準的LM必然會出現幻覺

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺