今日arXiv最熱NLP大模型論文：清華大學：大語言模型的常見詞僻意理解能力竟不如中學生

AIGC動態(tài)歡迎閱讀

原標題：今日arXiv最熱NLP大模型論文：清華大學：大語言模型的常見詞僻意理解能力竟不如中學生
關鍵字：模型,語義,能力,提示,任務
文章來源：夕小瑤科技說
內(nèi)容字數(shù)：10424字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | 謝年年LLMs在各種下游任務上都表現(xiàn)出色，翻譯、寫詩、寫故事信手拈來，甚至在某些任務上超過了人類水平。
如果是一個人擅長翻譯，那我們會覺得他充分掌握了兩門語言體系，精通雙語。但是LLMs也是如此嗎？LLMs是真的掌握了兩門語言，還是僅僅從大規(guī)模的訓練數(shù)據(jù)中歸納出語言特征，學會了模仿。
因此 “LLMs是真正理解了世界，還是只是模仿語言模式和邏輯的隨機鸚鵡？”。這一疑問引發(fā)了眾多研究并激起了激烈的爭論。
目前主流研究主要集中在表層自然語言理解任務如了LLMs在句子級別理解社交語言的能力、重復句子檢測等，而忽視了細粒度的探索。為了填補這一空白，清華大學深入探討了LLMs對微妙語義理解能力，特別是對常見詞匯的不尋常含義，構建了LeSC（Lexical Semantic Comprehension）數(shù)據(jù)集來評估LLMs對單詞級自然語言理解能力。
簡單來說， 作者使用高考和大學英語考試的數(shù)據(jù)為LLMs量身打造了單詞釋義理解任務，這些單詞的正確含義往往不是常見的釋義。如下圖所示，讓LLMs選擇“air”一詞在該句子中所代表的中文含義。“air”此時不是“空氣”的意思。

原文鏈接：今日arXiv最熱NLP大模型論文：清華大學：大語言模型的常見詞僻意理解能力竟不如中學生

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業(yè)、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內(nèi)外機構投資人，互聯(lián)網(wǎng)大廠中高管和AI公司創(chuàng)始人。一線作者來自清北、國內(nèi)外頂級AI實驗室和大廠，兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務合作：zym5189