GPT-4變笨！回答新問題性能太差，想保持水準(zhǔn)只能不斷訓(xùn)練新模型

AIGC動態(tài)歡迎閱讀

原標(biāo)題：GPT-4變笨！回答新問題性能太差，想保持水準(zhǔn)只能不斷訓(xùn)練新模型
關(guān)鍵字：模型,數(shù)據(jù),樣本,任務(wù),示例
文章來源：新智元
內(nèi)容字?jǐn)?shù)：4851字

內(nèi)容摘要：

新智元報(bào)道編輯：潤
【新智元導(dǎo)讀】最近由UCSC的研究人員發(fā)表論文，證明大模型的零樣本或者少樣本能力，幾乎都是來源于對于訓(xùn)練數(shù)據(jù)的記憶。昨天，一篇系統(tǒng)性地研究了GPT-4為什么會「降智」的論文，引發(fā)了AI圈的廣泛討論。
隨著大家對GPT-4使用得越來越頻繁，用戶每過一段時間都會集中反應(yīng)，GPT-4好像又變笨了。
最近的情況是，如果用戶不小心和GPT-4說現(xiàn)在是12月份，GPT-4的輸出的內(nèi)容就會明顯變少。
有一位用戶專門做了一個測試，分別告訴GPT-4現(xiàn)在是5月份和12月份，然后對比輸出結(jié)果，發(fā)現(xiàn)12月份的結(jié)果比5月份差了不少。
大家討論都覺得是說GPT-4會給自己放寒假，看到12月份就不想干活了。
但是如果放在這篇論文中來看，作者認(rèn)為，最主要的原因是大模型有一個現(xiàn)在看來幾乎是無解的缺陷——缺乏持續(xù)學(xué)習(xí)和進(jìn)化能力。
論文地址：https://arxiv.org/abs/2312.16337
我們發(fā)現(xiàn)在LLM在訓(xùn)練數(shù)據(jù)創(chuàng)建日期之前的數(shù)據(jù)集上的表現(xiàn)，要明顯好于在訓(xùn)練日期之后發(fā)布的數(shù)據(jù)集的表現(xiàn)。
不論是零樣本還是多樣本的測試中，LLM都會呈現(xiàn)出這種情況。
論文還指出，LLM在他們以前真正「

原文鏈接：GPT-4變笨！回答新問題性能太差，想保持水準(zhǔn)只能不斷訓(xùn)練新模型

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響，領(lǐng)航中國新智能時代。