網(wǎng)友：趕緊在RAG中試試

原標(biāo)題：圖結(jié)構(gòu)轉(zhuǎn)文本序列，大模型直接讀懂！圖推理性能大漲
文章來源：量子位
內(nèi)容字?jǐn)?shù)：3846字

最新圖線性化方法助力Transformer架構(gòu)理解復(fù)雜圖結(jié)構(gòu)

近期，機(jī)器學(xué)習(xí)工程師Rohan Paul分享了一項(xiàng)關(guān)于圖線性化的新方法，該方法旨在將圖（Graph）轉(zhuǎn)換為適用于Transformer架構(gòu)的線性token序列。這一研究不僅提升了大語言模型（LLM）對(duì)圖結(jié)構(gòu)的理解能力，還為圖推理任務(wù)提供了新的思路。

1. 圖線性化的關(guān)鍵屬性

這種新方法強(qiáng)調(diào)兩個(gè)重要屬性：局部依賴性和全局對(duì)齊性。局部依賴性確保了模型能夠基于前文上下文預(yù)測(cè)下一個(gè)token，而全局對(duì)齊性則要求不同圖的token序列應(yīng)從有相似特征的token開始或結(jié)束，類似于自然語言文本的結(jié)構(gòu)。

2. 具體實(shí)現(xiàn)技術(shù)

研究團(tuán)隊(duì)提出了多種技術(shù)來實(shí)現(xiàn)圖的線性化。其中包括：

• 圖中心性方法：根據(jù)節(jié)點(diǎn)的度和PageRank值對(duì)節(jié)點(diǎn)進(jìn)行排序，選擇重要性高的節(jié)點(diǎn)及其連接的邊，并隨機(jī)排列。
• 圖退化性方法：通過k-core分解對(duì)圖進(jìn)行排序，捕捉圖中的核心部分。
• 邊排序策略：將圖轉(zhuǎn)換為線圖，對(duì)線圖中的節(jié)點(diǎn)進(jìn)行排序以實(shí)現(xiàn)線性化。
• 節(jié)點(diǎn)重標(biāo)記策略：對(duì)不同圖中重要性相近的節(jié)點(diǎn)進(jìn)行統(tǒng)一重標(biāo)記，以保持全局對(duì)齊。

3. 實(shí)驗(yàn)與評(píng)估

作者使用GraphWave生成的數(shù)據(jù)集進(jìn)行了評(píng)估，生成了3000個(gè)包含不同基本形狀的圖。實(shí)驗(yàn)設(shè)計(jì)了節(jié)點(diǎn)計(jì)數(shù)、最大度計(jì)算和圖案形狀分類三項(xiàng)任務(wù)，并與基線方法進(jìn)行了對(duì)比。結(jié)果顯示，基于度中心性和PageRank的線性化方法在多個(gè)任務(wù)中表現(xiàn)優(yōu)異，尤其在節(jié)點(diǎn)計(jì)數(shù)任務(wù)中，準(zhǔn)確率明顯高于基線方法。

4. 研究結(jié)論

研究表明，基于中心性的方法總體優(yōu)于基于退化性的方法。此外，在節(jié)點(diǎn)計(jì)數(shù)任務(wù)中，盡管所有方法的平均誤差較低，但準(zhǔn)確率存在差異，顯示出節(jié)點(diǎn)重標(biāo)記策略的效果因任務(wù)而異。值得注意的是，one-shot設(shè)置的性能普遍低于zero-shot，表明示例并不總是有助于性能提升。

通過這一新方法，LLM在處理復(fù)雜圖結(jié)構(gòu)時(shí)的表現(xiàn)將進(jìn)一步改善，為未來的圖推理任務(wù)奠定基礎(chǔ)。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破