AIGC動態(tài)歡迎閱讀

原標(biāo)題：大模型「強(qiáng)崩潰」！Meta新作：合成數(shù)據(jù)有「劇毒」，1%即成LLM
關(guān)鍵字：數(shù)據(jù),模型,定理,理論,質(zhì)量
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：喬楊桃子
【新智元導(dǎo)讀】1%合成數(shù)據(jù)，就能讓模型瞬間崩潰！來自Meta、NYU等機(jī)構(gòu)團(tuán)隊(duì)證實(shí)，「微量」合成數(shù)據(jù)便讓LLM弱不可堪。甚至，參數(shù)規(guī)模越大，模型崩潰越嚴(yán)重。1%的合成數(shù)據(jù)，就讓LLM完全崩潰了？
7月，登上Nature封面一篇論文證實(shí)，用合成數(shù)據(jù)訓(xùn)練模型就相當(dāng)于「近親繁殖」，9次迭代后就會讓模型原地崩潰。
論文地址：https://www.nature.com/articles/s41586-024-07566-y
然而，許多大佬都不同意這篇文章的方法和結(jié)論。
比如，Scale AI的CEO Alexandr Wang就很看好合成數(shù)據(jù)的前景，英偉達(dá)發(fā)布的開源模型Nemotron-4 340B甚至使用了98%的合成數(shù)據(jù)。
最近，Meta、紐約大學(xué)、UCLA機(jī)構(gòu)發(fā)表的最新論文，再一次動搖了這些大佬們的結(jié)論。
論文地址：https://arxiv.org/abs/2410.04840
他們發(fā)現(xiàn)，即使合成數(shù)據(jù)僅僅占到總數(shù)據(jù)集的最小部分，甚至是1%的比例，仍然可能導(dǎo)致模型崩潰。
甚至，ChatGPT和Llama這種較大的模型，還可能放大這種「崩潰」現(xiàn)象。
強(qiáng)模型崩潰，

原文鏈接：大模型「強(qiáng)崩潰」！Meta新作：合成數(shù)據(jù)有「劇毒」，1%即成LLM

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡介：