探索大腦中語(yǔ)言理解機(jī)制，香港理工大學(xué)從LLM中得到新啟發(fā)，登Science子刊

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：探索大腦中語(yǔ)言理解機(jī)制，香港理工大學(xué)從LLM中得到新啟發(fā)，登Science子刊
關(guān)鍵字：模型,語(yǔ)言,話語(yǔ),大腦,人類
文章來(lái)源：人工智能學(xué)家
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

將 ScienceAI設(shè)為星標(biāo)
第一時(shí)間掌握
新鮮的 AI for Science 資訊編輯 | 蘿卜皮
當(dāng)前的大型語(yǔ)言模型 (LLMs) 依賴單詞預(yù)測(cè)作為其骨干預(yù)訓(xùn)練任務(wù)。盡管單詞預(yù)測(cè)是語(yǔ)言處理的重要機(jī)制，但人類語(yǔ)言理解發(fā)生在多個(gè)層面，涉及單詞和句子的整合以實(shí)現(xiàn)對(duì)話語(yǔ)的充分理解。
香港理工大學(xué)的研究人員通過(guò)使用下一句預(yù)測(cè)（Next Sentence Prediction，NSP）任務(wù)對(duì)語(yǔ)言理解進(jìn)行建模，從而研究話語(yǔ)級(jí)理解的機(jī)制。
該團(tuán)隊(duì)表明，NSP 預(yù)訓(xùn)練增強(qiáng)了模型與大腦數(shù)據(jù)的一致性，尤其是在右半球和多需求網(wǎng)絡(luò)中，突出了非經(jīng)典語(yǔ)言區(qū)域?qū)Ω呒?jí)語(yǔ)言理解的貢獻(xiàn)。NSP 可以使模型更好地捕捉人類理解性能并更好地編碼上下文信息。
另外，在模型中包含不同的學(xué)習(xí)目標(biāo)會(huì)產(chǎn)生更加類似于人類的表征，并且研究 LLMs 預(yù)訓(xùn)練任務(wù)的神經(jīng)認(rèn)知合理性可以揭示語(yǔ)言神經(jīng)科學(xué)中的突出問(wèn)題。
該研究以「Predicting the next sentence (not word) in large language models: What model-brain alignment tells us about d

原文鏈接：探索大腦中語(yǔ)言理解機(jī)制，香港理工大學(xué)從LLM中得到新啟發(fā)，登Science子刊

聯(lián)系作者

文章來(lái)源：人工智能學(xué)家
作者微信：AItists
作者簡(jiǎn)介：致力成為權(quán)威的人工智能科技媒體和前沿科技研究機(jī)構(gòu)