AIGC動態歡迎閱讀

原標題：ICML 2024 哈佛大學最新研究：越強的大模型越不懂人類
關鍵字：模型,問題,人類,信念,函數
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | 任同學大語言模型（LLMs）展現出了多種用途。這種多樣性提供了巨大的潛力：同一個模型可以幫助軟件工程師編寫代碼，也可以總結醫生的臨床筆記。然而，這種多樣性也帶來了評價問題：我們如何知道這些模型在不同任務中的表現是否符合我們的期望？
以與監督學習模型相同的方式評估 LLM（通過預先指定任務并根據相關基準進行評估）會低估 LLM 的能力。LLMs能夠執行許多任務，而這些任務無法全部列舉出來。此外，LLMs將會被用在許多評估者可能無法預見的任務上。解決這個問題的一種方法是通過其可能的部署方式來評價LLMs。這種評價的一個方面是理解人們將選擇在何處使用LLMs，例如，醫生是否會使用這些模型來總結筆記或回答問題？因此，了解人們關于LLMs性能的信念（belief）非常重要。
來自哈佛大學、麻省理工、芝加哥大學的研究人員對此進行了研究，該研究旨在理解人們如何對LLM在不同任務中的表現形成期望，并評估這些期望與實際表現之間的差異。這一研究的重要性在于，只有理解人們的期望，我們才能更有效地評估和應用這些強大的模型。
什么是人類的泛化行為？人類泛化行為是指人類提出問題，觀察

原文鏈接：ICML 2024 哈佛大學最新研究：越強的大模型越不懂人類

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189