院士領銜推出大模型的第3種記憶：比參數存儲和RAG都便宜，2.4B模型越級打13B

AIGC動態歡迎閱讀

原標題：院士領銜推出大模型的第3種記憶：比參數存儲和RAG都便宜，2.4B模型越級打13B
關鍵字：記憶,模型,知識,報告,參數
文章來源：量子位
內容字數：0字

內容摘要：

夢晨 發自 凹非寺量子位 | 公眾號 QbitAI給大模型加上第三種記憶格式，把寶貴的參數從死記硬背知識中解放出來！
中科院院士鄂維南領銜，上海算法創新研究院等團隊推出Memory3，比在參數中存儲知識以及RAG成本都更低，同時保持比RAG更高的解碼速度。
在實驗中，僅有2.4B參數的Memory3模型不僅打敗了許多7B-13B的模型，在專業領域任務如醫學上的表現也超過了傳統的RAG方法，同時推理速度更快，“幻覺”問題也更少。
目前相關論文已上傳到arXiv，并引起學術界關注。
知識按使用頻率分類這一方法受人腦記憶原理啟發，于存儲在模型參數中的隱性知識和推理時的短期工作工作記憶，給大模型添加了顯式記憶。
具體來說，人類的記憶大致可以分為三部分:
顯式記憶：可以主動回憶的長期記憶，比如讀過的文章。獲取顯式記憶很容易，但提取時需要一定的回憶過程。
隱式記憶：無意識使用的長期記憶，比如騎自行車的技能。獲取隱式記憶需要大量重復練習，但使用時毫不費力。
外部信息：存在大腦之外的信息，如考試時的備考資料。獲取和使用都很輕松，但遇到新問題時作用有限。
可以看出，三種記憶形式在獲取和使用的效率上形

原文鏈接：院士領銜推出大模型的第3種記憶：比參數存儲和RAG都便宜，2.4B模型越級打13B

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破