而實現語言模型實體層級的對比學習

原標題：如何讓大模型感知知識圖譜知識？螞蟻聯合實驗室：利用多詞元并行預測給它“上課”
文章來源：量子位
內容字數：4720字

螞蟻AI團隊：賦予大模型知識圖譜感知能力

螞蟻集團聯合實驗室在AAAI 2025會議上發表論文，提出了一種名為K-ON的多詞元并行預測方法，有效地解決了大語言模型在處理知識圖譜數據時存在的粒度不匹配問題。該方法通過讓大模型能夠感知知識圖譜中的實體知識，顯著提升了知識圖譜補全任務的性能。

1. 問題：大模型與知識圖譜的粒度不匹配

大語言模型通常以預測下一個詞元為目標進行訓練，這與許多自然語言處理任務相契合。然而，知識圖譜中的實體往往需要多個詞元才能準確描述，導致兩者之間存在粒度不匹配。直接使用大模型處理知識圖譜實體，可能導致模型生成不存在的實體，或需要復雜的處理步驟。

2. K-ON方法：多詞元并行預測與實體對比學習

為了解決上述問題，螞蟻團隊提出了K-ON方法。該方法的核心思想是采用多詞元并行預測機制，一次性生成對所有候選實體的評估結果。具體來說，K-ON包含以下步驟：

1. 將知識圖譜補全問題以文本指令形式輸入大模型。

2. 將大模型Transformer模塊的輸出輸入到K-ON模塊，該模塊由多個MLP構成，對應于要預測實體的不同位置的詞元。

3. 使用Conditional Transformer混合不同位置的信息，考慮詞元間的順序依賴性。

4. 利用低秩適應技術（LoRA）將原大模型評分層構造為K個新的評分層，將輸出轉換為對實體K個連續詞元的概率預測分布。

5. 從概率預測分布中抽取各實體詞元的概率值，一次性評估所有候選實體的分數。

此外，K-ON還利用實體層級的對比學習，通過比較正負樣本實體的分數，讓大模型學習知識圖譜中實體的分布。同時，為了使多詞元并行預測結果與單步連續預測結果相接近，K-ON還引入了單步預測損失進行優化。

3. 實驗結果：高效、低成本、高性能

實驗結果表明，K-ON在多個數據集上的知識圖譜補全任務中均優于現有方法，包括基于大模型的方法和多模態方法。K-ON在效率和成本方面也具有顯著優勢，其推理時間和訓練時間受K值影響不大，即使處理上千個負樣本實體，對效率的影響也微乎其微。

4. 總結

螞蟻團隊提出的K-ON方法，通過多詞元并行預測和實體層級的對比學習，有效地賦予了大語言模型感知知識圖譜知識的能力。該方法在知識圖譜相關任務上具有顯著的性能優勢，并且具有更高的訓練和推理效率。這為大語言模型在知識圖譜領域的應用提供了新的思路和方法。

螞蟻集團在AAAI 2025共有18篇論文被收錄，其中3篇為Oral，展示了其在人工智能領域的雄厚實力。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破