AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：「有效上下文」提升20倍！DeepMind發(fā)布ReadAgent框架
關(guān)鍵字：上下文,記憶,任務(wù),提要,要點(diǎn)
文章來源：新智元
內(nèi)容字?jǐn)?shù)：5907字

內(nèi)容摘要：

新智元報(bào)道編輯：LRS
【新智元導(dǎo)讀】模仿人類閱讀過程，先分段摘要再回憶，谷歌新框架ReadAgent在三個(gè)長(zhǎng)文檔閱讀理解數(shù)據(jù)集上取得了更強(qiáng)的性能，有效上下文提升了3-20倍。基于Transformer的大語言模型（LLM）具有很強(qiáng)的語言理解能力，但LLM一次能夠讀取的文本量仍然受到極大限制。
除了上下文窗口較小外，LLM的性能會(huì)隨著輸入內(nèi)容長(zhǎng)度的增加而下降，即便輸入內(nèi)容未超過模型的上下文窗口長(zhǎng)度限制也是如此。
相比之下，人類卻可以閱讀、理解和推理很長(zhǎng)的文本。
LLM和人類在閱讀長(zhǎng)度上存在差異的主要原因在于閱讀方法：LLM逐字地輸入精確的內(nèi)容，并且該過程相對(duì)被動(dòng)；但過于準(zhǔn)確的信息往往會(huì)被遺忘，而閱讀過程更注重理解模糊的要點(diǎn)信息，即不考慮準(zhǔn)確單詞的內(nèi)容能記憶更長(zhǎng)時(shí)間。
人類閱讀也是一個(gè)互動(dòng)的過程，比如回答問題時(shí)還需要從原文中進(jìn)行檢索。
為了解決這些限制，來自Google DeepMind和Google Research的研究人員提出了一個(gè)全新的LLM系統(tǒng)ReadAgent，受人類如何交互式閱讀長(zhǎng)文檔的啟發(fā)，將有效上下文長(zhǎng)度增加了20倍。論文鏈接：https://arxiv.org/ab

原文鏈接：「有效上下文」提升20倍！DeepMind發(fā)布ReadAgent框架

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。