【阿姆斯特丹博士論文】以實體為中心的神經(jīng)模型用于自然語言處理
AIGC動態(tài)歡迎閱讀
原標(biāo)題:【阿姆斯特丹博士論文】以實體為中心的神經(jīng)模型用于自然語言處理
關(guān)鍵字:實體,模型,報告,語言,知識
文章來源:人工智能學(xué)家
內(nèi)容字數(shù):0字
內(nèi)容摘要:
來源:專知
這篇論文探討了如何通過將實體信息納入神經(jīng)網(wǎng)絡(luò)模型來增強自然語言理解。它解決了三個關(guān)鍵問題:
利用實體進行理解任務(wù):本文引入了Entity-GCN模型,該模型在一個圖上執(zhí)行多步推理,其中節(jié)點代表實體提及,邊代表關(guān)系。這種方法在一個多文檔問答數(shù)據(jù)集上取得了最先進的結(jié)果。
使用大型語言模型識別和消歧實體:該研究提出了一種新穎的系統(tǒng),通過逐字生成實體名稱來檢索實體,克服了傳統(tǒng)方法的局限性,并顯著減少了內(nèi)存占用。該方法還擴展到了多語言環(huán)境,并進一步優(yōu)化了效率。
解釋和控制模型中的實體知識:本文提出了一種事后解釋技術(shù),用于分析神經(jīng)模型各層的決策過程,允許對知識表示進行可視化和分析。此外,提出了一種編輯實體事實知識的方法,使得在無需昂貴的重新訓(xùn)練的情況下能夠修正模型預(yù)測。實體在我們表示和匯總知識的方式中處于中心地位。例如,像這樣的百科全書是按實體組織的(例如,每篇文章對應(yīng)一個實體)。書面百科全書已有約兩千年的歷史(例如,《自然史》可以追溯到公元77年),在此期間,它們在形式、語言、風(fēng)格及許多其他方面都有了很大的發(fā)展。《百科全書,或科學(xué)、藝術(shù)和工藝詳解詞典》(在1751年至
原文鏈接:【阿姆斯特丹博士論文】以實體為中心的神經(jīng)模型用于自然語言處理
聯(lián)系作者
文章來源:人工智能學(xué)家
作者微信:
作者簡介: