《大模型決策制定中的幻覺檢測》綜述

AIGC動態歡迎閱讀

原標題：《大模型決策制定中的幻覺檢測》綜述
關鍵字：模型,報告,幻覺,基礎,任務
文章來源：人工智能學家
內容字數：6237字

內容摘要：

來源：專知
自主系統很快將無處不在，從制造業自主性到農業領域的機器人，再從醫療保健助手到娛樂產業。這些系統的大多數都是用于決策、規劃和控制的模塊化子組件開發的，這些子組件可能是手工設計的或基于學習的。雖然這些現有方法在它們特別設計的情況下已被證明表現良好，但在肯定會在測試時出現的罕見、分布外情景中，它們的表現可能特別差。基于多任務訓練、來自多個領域的大型數據集的基礎模型的興起，使研究人員相信這些模型可能提供現有規劃器所缺失的“常識”推理。研究人員認為，這種常識推理將彌合算法開發與部署到分布外任務之間的差距，就像人類適應意外情景一樣。大型語言模型已經滲透到機器人和自主系統領域，研究人員正在爭先恐后地展示它們在部署中的例。雖然這一應用方向從經驗上看非常有希望，但基礎模型已知會產生幻覺，并生成可能聽起來合理但實際上卻很差的決策。我們認為有必要同時退一步，設計可以量化模型決策確定性的系統，并檢測何時可能產生幻覺。在這項工作中，我們討論了基礎模型用于決策任務的當前用例，提供了一個帶有示例的幻覺的一般定義，討論了現有的幻覺檢測和緩解方法，重點是決策問題，并探索了這一激動人心領域的進一步研究領

原文鏈接：《大模型決策制定中的幻覺檢測》綜述

聯系作者

文章來源：人工智能學家
作者微信：AItists
作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構