拯救被「掰彎」的GPT-4！西交微軟北大聯合提出IN2訓練治療LLM「中間迷失」

AIGC動態歡迎閱讀

原標題：拯救被「掰彎」的GPT-4！西交微軟北大聯合提出IN2訓練治療LLM「中間迷失」
關鍵字：上下文,信息,長上,模型,數據
文章來源：新智元
內容字數：6628字

內容摘要：

新智元報道編輯：alan
【新智元導讀】近日，西交微軟北大聯合提出信息密集型訓練，使用純數據驅動的方式，矯正LLM訓練過程產生的偏見，在一定程度上治療了大語言模型丟失中間信息的問題。辛辛苦苦給大語言模型輸入了一大堆提示，它卻只記住了開頭和結尾？
這個現象叫做LLM的中間迷失（Lost in the Middle），是大模型當前仍面臨的最大挑戰之一。
畢竟，LLM現在的上下文長度已經沖到了百萬級別，而難以處理中間的信息，會使得LLM在評估大量數據時不再可靠。
Midjourney對于Lost in the Middle的理解
其實，我們人類也有類似「中間迷失」的毛病，心理學上叫「Primacy/recency effect」，感興趣的讀者可以參見：
https://www.sciencedirect.com/topics/psychology/recency-effect
「我怕零點的鐘聲太響……后面忘了」
不過就在不久前，來自西交、微軟和北大的研究人員，開發了一種純粹的數據驅動解決方案，來治療LLM丟失中間信息的癥狀：
論文地址：https://arxiv.org/pdf

原文鏈接：拯救被「掰彎」的GPT-4！西交微軟北大聯合提出IN2訓練治療LLM「中間迷失」