GPT-4分不清“很快”是多快，“萬金油”CoT也拯救不了

AIGC動態歡迎閱讀

原標題：GPT-4分不清“很快”是多快，“萬金油”CoT也拯救不了

關鍵字：時間,模型,,順序,任務

文章來源：夕小瑤科技說

內容字數：9004字

內容摘要：夕小瑤科技說 原創作者 | 謝年年、pythonGPT4也有短板？來自愛丁堡大學的研究人員發現GPT4似乎不擅長處理有關時間推理的任務。比如“洗個冷水澡可以很快地讓你清醒過來”，“這個小鄉村會很快成為一個國際大都市”兩個句子中的“很快”表示不同的時間概念，前者是若干秒鐘，而后者則是若干年。這對擁有豐富生活經驗的人類來說小菜一碟，但如果讓LLM來回答可能有些困難。LLM只是從文字中學習知識。這就像是在一個只有文字的世界里，沒有實際的觸摸、看、聽、嘗、聞。所以，它們在理解真實世界時，往往會表現得不盡人意。研究人員從三個方面全部分析了不同的LLM理解時間，推理時間任務的能力，發現GPT-4等最先進的模型仍然無法達到人類的性能水平，甚至不如微調后的小模型RoBERTa。除此之外，作者還分析了LLM在時間推理任務上性能不足的原因，并給出進一步改進的建議路線，讓我們一起去了解一下吧~論文標題:Are …

原文鏈接：點此閱讀原文：GPT-4分不清“很快”是多快，“萬金油”CoT也拯救不了

聯系作者

文章來源：夕小瑤科技說

作者微信：xixiaoyaoQAQ

作者簡介：更快的AI前沿，更深的行業洞見。聚集25萬AI應用開發者、算法工程師和研究人員。一線作者均來自清北、國外頂級AI實驗室和互聯網大廠，兼備媒體sense與技術深度。