清華NLP組發布InfLLM：無需額外訓練，「1024K超長上下文」100%召回！

AIGC動態歡迎閱讀

原標題：清華NLP組發布InfLLM：無需額外訓練，「1024K超長上下文」100%召回！
關鍵字：記憶,上下文,語義,模型,單元
文章來源：新智元
內容字數：6896字

內容摘要：

新智元報道編輯：LRS
【新智元導讀】挖掘大模型固有的長文本理解能力，InfLLM在沒有引入額外訓練的情況下，利用一個外部記憶模塊存儲超長上下文信息，實現了上下文長度的擴展。大模型只能夠記憶與理解有限的上下文已經成為大模型在真實應用中的能力瓶頸，例如對話式AI系統往往無法記憶你前一天對話的內容，利用大模型構建智能體會產生前后不一致的行為與記憶。
為了讓大模型能夠記憶并處理更長的上下文，來自清華大學、麻省理工學院和人民大學的研究人員聯合提出無需額外訓練的大模型長文本理解方法 InfLLM，利用少量計算和顯存開銷實現了 LLM的超長文本處理。論文地址：https://arxiv.org/abs/2402.04617
代碼倉庫：https://github.com/thunlp/InfLLM
實驗結果表明，InfLLM能夠有效地擴展Mistral、LLaMA的上下文處理窗口，并在1024K上下文的海底撈針任務中實現100%召回。
研究背景大規模預訓練語言模型（LLMs）近幾年在眾多任務上取得了突破性的進展，成為眾多應用的基礎模型。
這些真實應用也給LLMs處理超長序列的能力提出了更高的要求

原文鏈接：清華NLP組發布InfLLM：無需額外訓練，「1024K超長上下文」100%召回！

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。