突破幻想：杜克大學(xué)與谷歌聯(lián)合推出SLED解碼框架，提升大語言模型的事實(shí)準(zhǔn)確性

與梯度下降等經(jīng)典優(yōu)化算法銜接更為緊密自然

原標(biāo)題：NeurIPS 2024｜杜克大學(xué)&谷歌提出SLED解碼框架，無需外部數(shù)據(jù)與額外訓(xùn)練，有效緩解大語言模型幻覺，提高事實(shí)準(zhǔn)確性
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：4361字

自驅(qū)動(dòng) Logits 進(jìn)化解碼（SLED）提升大語言模型的事實(shí)準(zhǔn)確性

近年來，大語言模型（LLM）在多種任務(wù)中展現(xiàn)了卓越的性能，但幻覺（hallucination）現(xiàn)象導(dǎo)致其生成內(nèi)容的準(zhǔn)確性受到限制。為了解決這一問題，杜克大學(xué)與 Google Research 的研究團(tuán)隊(duì)提出了一種新的解碼框架——自驅(qū)動(dòng) Logits 進(jìn)化解碼（SLED），旨在提升 LLM 的事實(shí)準(zhǔn)確性。該方法不依賴外部知識(shí)庫或額外微調(diào)，為模型的實(shí)際應(yīng)用提供了更高的可靠性。

研究背景與思路

研究者指出，雖然用戶可能無法得到 LLM 的正確答案，但模型內(nèi)部存儲(chǔ)的“潛在知識(shí)”可能包含正確的信息。該研究的重點(diǎn)在于如何挖掘這些潛在知識(shí)，并利用其增強(qiáng)模型輸出的準(zhǔn)確性。SLED 方法通過對(duì)比 LLM 不同層的輸出，挖掘潛在知識(shí)，并通過一種“梯度下降”方式將其整合到原始輸出中，從而有效提升事實(shí)準(zhǔn)確性。

方法設(shè)計(jì)

SLED 方法通過優(yōu)化損失函數(shù) L 來提高輸出中正確 token 的概率，實(shí)現(xiàn) Logits 進(jìn)化。研究者還發(fā)現(xiàn)，LLM 的訓(xùn)練實(shí)際上是一個(gè)由外部驅(qū)動(dòng)的 Logits 進(jìn)化過程，最后一層的輸出通常更接近真實(shí)世界的分布。基于此，研究者通過反向估計(jì)潛在知識(shí)，最終實(shí)現(xiàn)更接近事實(shí)分布的輸出。

實(shí)驗(yàn)驗(yàn)證

研究團(tuán)隊(duì)將 SLED 與當(dāng)前最先進(jìn)的方法 DoLa 進(jìn)行了比較，涵蓋多種 LLM 家族和不同規(guī)模的模型。實(shí)驗(yàn)結(jié)果顯示，SLED 在多項(xiàng)任務(wù)中均顯著提升了事實(shí)準(zhǔn)確性，并且與其他解碼方式兼容良好。更重要的是，SLED 在計(jì)算上幾乎沒有額外開銷，且有效抑制了重復(fù)性問題，優(yōu)化了輸出質(zhì)量。

未來展望

SLED 為后續(xù)推理時(shí)算法提供了新的框架，結(jié)合經(jīng)典優(yōu)化算法提高了效率。未來的研究方向可以探索將 SLED 與監(jiān)督式微調(diào)結(jié)合，以適應(yīng)特定領(lǐng)域的需求。此外，改進(jìn)框架設(shè)計(jì)也是后續(xù)研究的重點(diǎn)。

通過引入 SLED 方法，本研究成功提升了 LLM 在多種任務(wù)中的事實(shí)準(zhǔn)確性，為模型的實(shí)際應(yīng)用提供了更可靠的支持。

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)