【阿姆斯特丹博士論文】以實(shí)體為中心的神經(jīng)模型用于自然語(yǔ)言處理

AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:【阿姆斯特丹博士論文】以實(shí)體為中心的神經(jīng)模型用于自然語(yǔ)言處理
關(guān)鍵字:實(shí)體,模型,報(bào)告,語(yǔ)言,知識(shí)
文章來(lái)源:人工智能學(xué)家
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
來(lái)源:專知
這篇論文探討了如何通過(guò)將實(shí)體信息納入神經(jīng)網(wǎng)絡(luò)模型來(lái)增強(qiáng)自然語(yǔ)言理解。它解決了三個(gè)關(guān)鍵問(wèn)題:
利用實(shí)體進(jìn)行理解任務(wù):本文引入了Entity-GCN模型,該模型在一個(gè)圖上執(zhí)行多步推理,其中節(jié)點(diǎn)代表實(shí)體提及,邊代表關(guān)系。這種方法在一個(gè)多文檔問(wèn)答數(shù)據(jù)集上取得了最先進(jìn)的結(jié)果。
使用大型語(yǔ)言模型識(shí)別和消歧實(shí)體:該研究提出了一種新穎的系統(tǒng),通過(guò)逐字生成實(shí)體名稱來(lái)檢索實(shí)體,克服了傳統(tǒng)方法的局限性,并顯著減少了內(nèi)存占用。該方法還擴(kuò)展到了多語(yǔ)言環(huán)境,并進(jìn)一步優(yōu)化了效率。
解釋和控制模型中的實(shí)體知識(shí):本文提出了一種事后解釋技術(shù),用于分析神經(jīng)模型各層的決策過(guò)程,允許對(duì)知識(shí)表示進(jìn)行可視化和分析。此外,提出了一種編輯實(shí)體事實(shí)知識(shí)的方法,使得在無(wú)需昂貴的重新訓(xùn)練的情況下能夠修正模型預(yù)測(cè)。實(shí)體在我們表示和匯總知識(shí)的方式中處于中心地位。例如,像這樣的百科全書是按實(shí)體組織的(例如,每篇文章對(duì)應(yīng)一個(gè)實(shí)體)。書面百科全書已有約兩千年的歷史(例如,《自然史》可以追溯到公元77年),在此期間,它們?cè)谛问健⒄Z(yǔ)言、風(fēng)格及許多其他方面都有了很大的發(fā)展。《百科全書,或科學(xué)、藝術(shù)和工藝詳解詞典》(在1751年至
原文鏈接:【阿姆斯特丹博士論文】以實(shí)體為中心的神經(jīng)模型用于自然語(yǔ)言處理
聯(lián)系作者
文章來(lái)源:人工智能學(xué)家
作者微信:
作者簡(jiǎn)介:

粵公網(wǎng)安備 44011502001135號(hào)