圖結(jié)構(gòu)轉(zhuǎn)文本：大模型如何實現(xiàn)飛躍式推理提升！

網(wǎng)友：趕緊在RAG中試試

原標題：圖結(jié)構(gòu)轉(zhuǎn)文本序列，大模型直接讀懂！圖推理性能大漲
文章來源：量子位
內(nèi)容字數(shù)：3846字

最新圖線性化方法助力Transformer架構(gòu)理解復(fù)雜圖結(jié)構(gòu)

近期，機器學習工程師Rohan Paul分享了一項關(guān)于圖線性化的新方法，該方法旨在將圖（Graph）轉(zhuǎn)換為適用于Transformer架構(gòu)的線性token序列。這一研究不僅提升了大語言模型（LLM）對圖結(jié)構(gòu)的理解能力，還為圖推理任務(wù)提供了新的思路。

1. 圖線性化的關(guān)鍵屬性

這種新方法強調(diào)兩個重要屬性：局部依賴性和全局對齊性。局部依賴性確保了模型能夠基于前文上下文預(yù)測下一個token，而全局對齊性則要求不同圖的token序列應(yīng)從有相似特征的token開始或結(jié)束，類似于自然語言文本的結(jié)構(gòu)。

2. 具體實現(xiàn)技術(shù)

研究團隊提出了多種技術(shù)來實現(xiàn)圖的線性化。其中包括：

• 圖中心性方法：根據(jù)節(jié)點的度和PageRank值對節(jié)點進行排序，選擇重要性高的節(jié)點及其連接的邊，并隨機排列。
• 圖退化性方法：通過k-core分解對圖進行排序，捕捉圖中的核心部分。
• 邊排序策略：將圖轉(zhuǎn)換為線圖，對線圖中的節(jié)點進行排序以實現(xiàn)線性化。
• 節(jié)點重標記策略：對不同圖中重要性相近的節(jié)點進行統(tǒng)一重標記，以保持全局對齊。

3. 實驗與評估

作者使用GraphWave生成的數(shù)據(jù)集進行了評估，生成了3000個包含不同基本形狀的圖。實驗設(shè)計了節(jié)點計數(shù)、最大度計算和圖案形狀分類三項任務(wù)，并與基線方法進行了對比。結(jié)果顯示，基于度中心性和PageRank的線性化方法在多個任務(wù)中表現(xiàn)優(yōu)異，尤其在節(jié)點計數(shù)任務(wù)中，準確率明顯高于基線方法。

4. 研究結(jié)論

研究表明，基于中心性的方法總體優(yōu)于基于退化性的方法。此外，在節(jié)點計數(shù)任務(wù)中，盡管所有方法的平均誤差較低，但準確率存在差異，顯示出節(jié)點重標記策略的效果因任務(wù)而異。值得注意的是，one-shot設(shè)置的性能普遍低于zero-shot，表明示例并不總是有助于性能提升。

通過這一新方法，LLM在處理復(fù)雜圖結(jié)構(gòu)時的表現(xiàn)將進一步改善，為未來的圖推理任務(wù)奠定基礎(chǔ)。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破