通研院研究發現大語言模型在心智推理和行為規劃上顯著落后于人類

AIGC動態歡迎閱讀

原標題：通研院研究發現大語言模型在心智推理和行為規劃上顯著落后于人類
關鍵字：任務,模型,人類,心智,社會
文章來源：人工智能學家
內容字數：0字

內容摘要：

來源：北京通用人工智能研究院
論文導讀隨著大語言模型（LLMs）的不斷發展，其是否具有人類水平的心智推理和社會智能這一問題得到了越來越多的關注和討論。日前，Nature子刊《自然·人類行為》的一篇最新研究[1]表明，GPT-4在一些心智理論測試任務中的表現明顯優于人類，能夠比人類更好地檢測出諷刺和暗示；Google DeepMind也發表了論文[2]，稱他們的研究發現GPT-4在心智理論任務上的表現已經完全達到了成年人的水平，在第6階心智推理上的表現更是大幅超過了人類。媒體報道中更是不乏“GPT-4高階心智理論徹底擊敗人類！”“在心智理論上，人類是徹底被LLMs甩在后面了”等結論——然而，現在得出這些結論是否有點太早了呢？
北京通用人工智能研究院（簡稱通研院）研究團隊通過兩類簡單的社會智能測試任務揭示出大語言模型在心智推理（由行動推測偏好）與行為規劃（用行動表達偏好）上仍與人類存在顯著差異。其表現為：在處理任務時，大語言模型更傾向依賴表層模式識別作為處理依據，沒有使用更深層次的心智推理和社會智能能力來解決問題，并且在遇到新的或變化的情景時表現不佳。該研究成果由通研院聯合北京大學、西安交

原文鏈接：通研院研究發現大語言模型在心智推理和行為規劃上顯著落后于人類