ChatGPT真能記住你的話嗎？DeepMind與開源大佬揭示LLM記憶之謎

AIGC動態(tài)歡迎閱讀

原標(biāo)題：ChatGPT真能記住你的話嗎？DeepMind與開源大佬揭示LLM記憶之謎
關(guān)鍵字：模型,記憶,數(shù)據(jù),上下文,內(nèi)容
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：喬楊
【新智元導(dǎo)讀】LLM有記憶能力嗎？有，也沒有。雖然ChatGPT時(shí)好像可以記住你之前說的話，但實(shí)際上，模型在推理時(shí)記不住任何內(nèi)容，而且它們在訓(xùn)練時(shí)的記憶方式也不像我們想象的那么簡單。Django框架的創(chuàng)始人之一、著名開發(fā)者Simon Willison最近發(fā)表了一篇博客文章，核心觀點(diǎn)是——雖然很多LLM看起來有記憶，但本質(zhì)上是無狀態(tài)函數(shù)。
文章地址：https://simonwillison.net/2024/May/29/training-not-chatting/
Mozilla和FireFox的聯(lián)合創(chuàng)始人、JavaScript發(fā)明者Brendan Eich也在上稱贊這篇博客。
似乎有記憶的LLM從計(jì)算機(jī)科學(xué)的角度來看，最好將LLM的推理過程視為無狀態(tài)函數(shù)調(diào)用——給定輸入文本，它會輸出接下來應(yīng)該做什么。
然而使用過ChatGPT或者Gemini的人會明顯感覺到，LLM似乎可以記住之前的對話內(nèi)容，好像模型有記憶能力。
然而這并不能歸功于模型本身。
事實(shí)上，用戶每次提出一個問題時(shí)，模型收到的提示都會包含之前所有的對話內(nèi)容，這些提示就是我們經(jīng)常說的「上下文」

原文鏈接：ChatGPT真能記住你的話嗎？DeepMind與開源大佬揭示LLM記憶之謎

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響，領(lǐng)航中國新智能時(shí)代。