免訓練大模型知識編輯，吸收新數據更高效｜EMNLP'24

AIGC動態歡迎閱讀

原標題：免訓練大模型知識編輯，吸收新數據更高效｜EMNLP'24
關鍵字：編輯,模型,知識,樣本,局部性
文章來源：量子位
內容字數：0字

內容摘要：

阿里安全 投稿量子位 | 公眾號 QbitAI讓大模型能快速、準確、高效地吸收新知識！
被EMNLP 2024收錄的一項新研究，提出了一種檢索增強的連續提示學習新方法，可以提高知識終身學習的編輯和推理效率。
模型編輯旨在糾正大語言模型中過時或錯誤的知識，同時不需要昂貴的代價進行再訓練。終身模型編輯是滿足LLM持續編輯要求的最具挑戰性的任務。
之前的工作主要集中在單次或批量編輯上，由于災難性的知識遺忘和模型性能的下降，這些方法在終身編輯場景中表現不佳。盡管基于檢索的方法緩解了這些問題，但它們受到將檢索到的知識集成到模型中的緩慢而繁瑣的過程的阻礙。
而名為RECIPE的最新方法，它首先將知識描述轉換為簡短且信息豐富的連續提示的token表示，作為LLM輸入查詢嵌入的前綴，有效地細化基于知識的生成過程。
它還集成了知識哨兵機制，作為計算動態閾值的媒介，確定檢索庫是否包含相關知識。
檢索器和提示編碼器經過聯合訓練，以實現知識編輯屬性，即可靠性、通用性和局部性。
在多個權威基座模型和編輯數據集上進行終身編輯對比實驗，結果證明了RECIPE性能的優越性。
這項研究由阿里安全內容安全團隊與華東師范大

原文鏈接：免訓練大模型知識編輯，吸收新數據更高效｜EMNLP'24

聯系作者

文章來源：量子位
作者微信：
作者簡介：