AIGC動態(tài)歡迎閱讀

原標題：鄂維南院士領(lǐng)銜新作：大模型不止有RAG、參數(shù)存儲，還有第3種記憶
關(guān)鍵字：記憶,模型,成本,研究者,注意力
文章來源：機器之心
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

機器之心報道
編輯：陳陳2.4B 的 Memory3比更大的 LLM 和 RAG 模型獲得了更好的性能。近年來，大型語言模型 (LLM) 因其非凡的性能而獲得了前所未有的關(guān)注。然而， LLM 的訓(xùn)練和推理成本高昂，人們一直在嘗試通過各種優(yōu)化方法來降低成本。
本文來自上海算法創(chuàng)新研究院、北京大學(xué)等機構(gòu)的研究者受人類大腦記憶層次結(jié)構(gòu)的啟發(fā)，他們通過為 LLM 配備顯式記憶（一種比模型參數(shù)和 RAG 更便宜的記憶格式）來降低這一成本。從概念上講，由于其大部分知識都外化為顯式記憶，因而 LLM 可以享受更少的參數(shù)大小、訓(xùn)練成本和推理成本。論文地址：https://arxiv.org/pdf/2407.01178
論文標題：Memory3 : Language Modeling with Explicit Memory作為初步的概念證明，研究者從零開始訓(xùn)練了一個 2.4B 的 LLM，它比更大的 LLM 和 RAG 模型獲得了更好的性能，并實現(xiàn)了比 RAG 更高的解碼速度。這個模型被命名為 Memory3，因為在 LLM 中，顯式記憶是繼隱式記憶（模型參數(shù)）和工作記憶（上下文鍵值）之后的第三種記

原文鏈接：鄂維南院士領(lǐng)銜新作：大模型不止有RAG、參數(shù)存儲，還有第3種記憶

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺