如何讓大模型感知知識圖譜知識？螞蟻聯(lián)合實驗室：利用多詞元并行預(yù)測給它“上課”

而實現(xiàn)語言模型實體層級的對比學(xué)習(xí)

原標(biāo)題：如何讓大模型感知知識圖譜知識？螞蟻聯(lián)合實驗室：利用多詞元并行預(yù)測給它“上課”
文章來源：量子位
內(nèi)容字?jǐn)?shù)：4720字

螞蟻AI團隊：賦予大模型知識圖譜感知能力

螞蟻集團聯(lián)合實驗室在AAAI 2025會議上發(fā)表論文，提出了一種名為K-ON的多詞元并行預(yù)測方法，有效地解決了大語言模型在處理知識圖譜數(shù)據(jù)時存在的粒度不匹配問題。該方法通過讓大模型能夠感知知識圖譜中的實體知識，顯著提升了知識圖譜補全任務(wù)的性能。

1. 問題：大模型與知識圖譜的粒度不匹配

大語言模型通常以預(yù)測下一個詞元為目標(biāo)進行訓(xùn)練，這與許多自然語言處理任務(wù)相契合。然而，知識圖譜中的實體往往需要多個詞元才能準(zhǔn)確描述，導(dǎo)致兩者之間存在粒度不匹配。直接使用大模型處理知識圖譜實體，可能導(dǎo)致模型生成不存在的實體，或需要復(fù)雜的處理步驟。

2. K-ON方法：多詞元并行預(yù)測與實體對比學(xué)習(xí)

為了解決上述問題，螞蟻團隊提出了K-ON方法。該方法的核心思想是采用多詞元并行預(yù)測機制，一次性生成對所有候選實體的評估結(jié)果。具體來說，K-ON包含以下步驟：

1. 將知識圖譜補全問題以文本指令形式輸入大模型。

2. 將大模型Transformer模塊的輸出輸入到K-ON模塊，該模塊由多個MLP構(gòu)成，對應(yīng)于要預(yù)測實體的不同位置的詞元。

3. 使用Conditional Transformer混合不同位置的信息，考慮詞元間的順序依賴性。

4. 利用低秩適應(yīng)技術(shù)（LoRA）將原大模型評分層構(gòu)造為K個新的評分層，將輸出轉(zhuǎn)換為對實體K個連續(xù)詞元的概率預(yù)測分布。

5. 從概率預(yù)測分布中抽取各實體詞元的概率值，一次性評估所有候選實體的分?jǐn)?shù)。

此外，K-ON還利用實體層級的對比學(xué)習(xí)，通過比較正負(fù)樣本實體的分?jǐn)?shù)，讓大模型學(xué)習(xí)知識圖譜中實體的分布。同時，為了使多詞元并行預(yù)測結(jié)果與單步連續(xù)預(yù)測結(jié)果相接近，K-ON還引入了單步預(yù)測損失進行優(yōu)化。

3. 實驗結(jié)果：高效、低成本、高性能

實驗結(jié)果表明，K-ON在多個數(shù)據(jù)集上的知識圖譜補全任務(wù)中均優(yōu)于現(xiàn)有方法，包括基于大模型的方法和多模態(tài)方法。K-ON在效率和成本方面也具有顯著優(yōu)勢，其推理時間和訓(xùn)練時間受K值影響不大，即使處理上千個負(fù)樣本實體，對效率的影響也微乎其微。

4. 總結(jié)

螞蟻團隊提出的K-ON方法，通過多詞元并行預(yù)測和實體層級的對比學(xué)習(xí)，有效地賦予了大語言模型感知知識圖譜知識的能力。該方法在知識圖譜相關(guān)任務(wù)上具有顯著的性能優(yōu)勢，并且具有更高的訓(xùn)練和推理效率。這為大語言模型在知識圖譜領(lǐng)域的應(yīng)用提供了新的思路和方法。

螞蟻集團在AAAI 2025共有18篇論文被收錄，其中3篇為Oral，展示了其在人工智能領(lǐng)域的雄厚實力。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破