「有效上下文」提升20倍！DeepMind發布ReadAgent框架

AIGC動態歡迎閱讀

原標題：「有效上下文」提升20倍！DeepMind發布ReadAgent框架
關鍵字：上下文,記憶,任務,提要,要點
文章來源：新智元
內容字數：5907字

內容摘要：

新智元報道編輯：LRS
【新智元導讀】模仿人類閱讀過程，先分段摘要再回憶，谷歌新框架ReadAgent在三個長文檔閱讀理解數據集上取得了更強的性能，有效上下文提升了3-20倍。基于Transformer的大語言模型（LLM）具有很強的語言理解能力，但LLM一次能夠讀取的文本量仍然受到極大限制。
除了上下文窗口較小外，LLM的性能會隨著輸入內容長度的增加而下降，即便輸入內容未超過模型的上下文窗口長度限制也是如此。
相比之下，人類卻可以閱讀、理解和推理很長的文本。
LLM和人類在閱讀長度上存在差異的主要原因在于閱讀方法：LLM逐字地輸入精確的內容，并且該過程相對被動；但過于準確的信息往往會被遺忘，而閱讀過程更注重理解模糊的要點信息，即不考慮準確單詞的內容能記憶更長時間。
人類閱讀也是一個互動的過程，比如回答問題時還需要從原文中進行檢索。
為了解決這些限制，來自Google DeepMind和Google Research的研究人員提出了一個全新的LLM系統ReadAgent，受人類如何交互式閱讀長文檔的啟發，將有效上下文長度增加了20倍。論文鏈接：https://arxiv.org/ab

原文鏈接：「有效上下文」提升20倍！DeepMind發布ReadAgent框架

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。