AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：Nature最新封面：AI訓(xùn)練AI？也許越來越笨
關(guān)鍵字：模型,數(shù)據(jù),誤差,內(nèi)容,尾部
文章來源：大數(shù)據(jù)文摘
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自學(xué)術(shù)頭條
撰文：馬雪薇
編審：佩奇當(dāng)前，在愈發(fā)火熱的大模型行業(yè)，Scaling Law 被證明依然奏效。
問題是，一旦由人類生成的高質(zhì)量數(shù)據(jù)（如書籍、文章、照片、視頻等）用盡，大模型訓(xùn)練又該如何進(jìn)行？
目前，一個(gè)被寄予厚望的方法是“用大模型自己生成的數(shù)據(jù)來訓(xùn)練自己”。事實(shí)上，如果后代模型的訓(xùn)練數(shù)據(jù)也從網(wǎng)絡(luò)中獲取，就會(huì)不可避免地使用前代模型生成的數(shù)據(jù)。
然而，來自牛津大學(xué)和劍橋大學(xué)的研究團(tuán)隊(duì)及其合作者，卻給這一設(shè)想“潑了一盆冷水”。
他們給出了這樣一個(gè)結(jié)論：模型在訓(xùn)練中使用自身生成的內(nèi)容，會(huì)出現(xiàn)不可逆轉(zhuǎn)的缺陷，逐漸忘記真實(shí)數(shù)據(jù)分布，從而導(dǎo)致模型性能下降。
即“模型崩潰”（Model Collapse）。
相關(guān)研究論文以“AI models collapse when trained on recursively generated data”為題，已發(fā)表在權(quán)威科學(xué)期刊 Nature 上。但他們也表示，用一個(gè)舊模型生成的數(shù)據(jù)去訓(xùn)練一個(gè)新模型，并非不可行，但必須對(duì)數(shù)據(jù)進(jìn)行嚴(yán)格的過濾。
在一篇同期發(fā)表的新聞與觀點(diǎn)文章中，來自杜克大學(xué)的 Emily Wenger 認(rèn)為，“論文

原文鏈接：Nature最新封面：AI訓(xùn)練AI？也許越來越笨

聯(lián)系作者

文章來源：大數(shù)據(jù)文摘
作者微信：
作者簡(jiǎn)介：