ChatGPT真能記住你的話嗎？DeepMind與開源大佬揭示LLM記憶之謎

AIGC動態(tài)歡迎閱讀

原標題：ChatGPT真能記住你的話嗎？DeepMind與開源大佬揭示LLM記憶之謎
關(guān)鍵字：模型,記憶,數(shù)據(jù),上下文,內(nèi)容
文章來源：新智元
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

新智元報道編輯：喬楊
【新智元導讀】LLM有記憶能力嗎？有，也沒有。雖然ChatGPT時好像可以記住你之前說的話，但實際上，模型在推理時記不住任何內(nèi)容，而且它們在訓練時的記憶方式也不像我們想象的那么簡單。Django框架的創(chuàng)始人之一、著名開發(fā)者Simon Willison最近發(fā)表了一篇博客文章，核心觀點是——雖然很多LLM看起來有記憶，但本質(zhì)上是無狀態(tài)函數(shù)。
文章地址：https://simonwillison.net/2024/May/29/training-not-chatting/
Mozilla和FireFox的聯(lián)合創(chuàng)始人、JavaScript發(fā)明者Brendan Eich也在上稱贊這篇博客。
似乎有記憶的LLM從計算機科學的角度來看，最好將LLM的推理過程視為無狀態(tài)函數(shù)調(diào)用——給定輸入文本，它會輸出接下來應(yīng)該做什么。
然而使用過ChatGPT或者Gemini的人會明顯感覺到，LLM似乎可以記住之前的對話內(nèi)容，好像模型有記憶能力。
然而這并不能歸功于模型本身。
事實上，用戶每次提出一個問題時，模型收到的提示都會包含之前所有的對話內(nèi)容，這些提示就是我們經(jīng)常說的「上下文」

原文鏈接：ChatGPT真能記住你的話嗎？DeepMind與開源大佬揭示LLM記憶之謎

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展，關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響，領(lǐng)航中國新智能時代。