KG+LM超越傳統(tǒng)架構(gòu)！海德堡提出全新圖語言模型GLM | ACL 2024

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：KG+LM超越傳統(tǒng)架構(gòu)！海德堡提出全新圖語言模型GLM | ACL 2024
關(guān)鍵字：節(jié)點(diǎn),模型,語言,關(guān)系,文本
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：alan
【新智元導(dǎo)讀】近日，來自海德堡大學(xué)的研究人員推出了圖語言模型 (GLM)，將語言模型的語言能力和知識(shí)圖譜的結(jié)構(gòu)化知識(shí)，統(tǒng)一到了同一種模型之中。語言模型（LM）的成功似乎掩蓋了旁人的光輝。
比如知識(shí)圖譜（knowledge graph，KG），這個(gè)整合了實(shí)體關(guān)系的結(jié)構(gòu)化知識(shí)庫。
通常來說，語言模型代表了語言能力，而知識(shí)圖譜蘊(yùn)含了結(jié)構(gòu)信息。
長期以來，對(duì)于KG的利用大致可以分為兩類：
第一類是將KG線性化后嵌入LM，這種做法并不能充分利用其結(jié)構(gòu)信息；
第二類是使用圖神經(jīng)網(wǎng)絡(luò) (GNN) 來保留圖結(jié)構(gòu)，但GNN無法表示文本特征，也無法與LM的預(yù)訓(xùn)練特征結(jié)合。
——有沒有辦法結(jié)合二者的優(yōu)點(diǎn)，既保留預(yù)訓(xùn)練LM的能力，又充分利用KG來增強(qiáng)模型對(duì)于圖概念和三元組的理解？
當(dāng)然有，不然小編就不會(huì)寫，那就是來自海德堡大學(xué)的研究人員推出的圖語言模型 (GLM)。
論文地址：https://aclanthology.org/2024.acl-long.245.pdf
GLM集成了兩種方法的優(yōu)勢(shì)并彌補(bǔ)了它們的缺點(diǎn)。
作者使用預(yù)訓(xùn)練LM來初始化GLM的參數(shù)，同時(shí)又設(shè)計(jì)新的架構(gòu)來促進(jìn)有

原文鏈接：KG+LM超越傳統(tǒng)架構(gòu)！海德堡提出全新圖語言模型GLM | ACL 2024