大模型在裝傻！谷歌蘋果最新發現：LLM知道但不告訴你，掌握知識比表現出來的多

AIGC動態歡迎閱讀

原標題：大模型在裝傻！谷歌蘋果最新發現：LLM知道但不告訴你，掌握知識比表現出來的多
關鍵字：錯誤,模型,答案,數據,真實性
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：alan
【新智元導讀】近日，來自谷歌和蘋果的研究表明：AI模型掌握的知識比表現出來的要多得多！這些真實性信息集中在特定的token中，利用這一屬性可以顯著提高檢測LLM錯誤輸出的能力。大模型的應用歷來受幻覺所擾。
這個幻覺可以指代LLM產生的任何類型的錯誤：事實不準確、偏見、常識推理失敗等等。
——是因為大模型學半天白學了嗎？并不是。
近日，來自谷歌和蘋果的研究表明：AI模型掌握的知識比表現出來的更多！
論文地址：https://arxiv.org/pdf/2410.02707
研究人員在LLM內部表示上訓練分類器，以預測與生成輸出的真實性相關的各種特征。
結果表明LLM的內部狀態編碼反映出的真實性信息，比以前認識到的要多得多。
這些真實性信息集中在特定的token中，利用這一屬性可以顯著提高檢測LLM錯誤輸出的能力。
雖說這種錯誤檢測無法在數據集中泛化，但好處是，模型的內部表示可用于預測模型可能犯的錯誤類型，從而幫助我們制定緩解錯誤的策略。
研究揭示了LLM內部編碼和外部行為之間的差異：可能編碼了正確的答案，卻生成了不正確的答案。
——簡單來說就是，LLM它知道，

原文鏈接：大模型在裝傻！谷歌蘋果最新發現：LLM知道但不告訴你，掌握知識比表現出來的多

聯系作者

文章來源：新智元
作者微信：
作者簡介：