Prompt自相矛盾，大模型能發現嗎？上海交通大學最新研究解密 | ECCV 2024

AIGC動態歡迎閱讀

原標題：Prompt自相矛盾，大模型能發現嗎？上海交通大學最新研究解密 | ECCV 2024
關鍵字：模型,指令,沖突,能力,語義
文章來源：量子位
內容字數：0字

內容摘要：

上海交通大學王德泉課題組投稿量子位 | 公眾號 QbitAI上海交通大學王德泉教授課題組在最新研究中提出了這樣的一個問題。
設想這樣一個場景：一個幼兒園的小朋友拿著一張老虎的圖片，向你詢問：“這個小貓很可愛，它是一只母貓么？”你會如何回答？
你可能并不會直接回答“是”或“不是”，而是首先指出這個提問中的“矛盾”所在——這張圖片是一只老虎，而不是貓。
但關于大模型會怎樣應對，之前很少有系統性的研究。
要知道，無法檢測出“指令沖突”的AI模型會針對“不應該有答案的問題”生成結果，而無論生成的結果偏向于沖突的哪一方，都會引發潛在的災難，影響AI安全性以及Superalignment（超級對齊）。
在最新的這項研究中，團隊提出了多模態基準測試——自相矛盾指令集，并設計了一個創新的自動數據集創建框架，名為AutoCreate。
團隊發現多模態大模型對于自相矛盾的用戶指令的檢測非常欠缺，因此提出了認知喚醒提示方法（CAP），從外部世界注入認知能力從而提高了矛盾檢測的能力。
該論文即將發表在今年10月份的第18屆歐洲計算機視覺大會（ECCV）上。
大模型能檢測到沖突指令嗎？目前，多模態大模型在科研

原文鏈接：Prompt自相矛盾，大模型能發現嗎？上海交通大學最新研究解密 | ECCV 2024