240萬億巨量數據被洗出，足夠訓出18個GPT-4！全球23所機構聯手，清洗秘籍公開

AIGC動態歡迎閱讀

原標題：240萬億巨量數據被洗出，足夠訓出18個GPT-4！全球23所機構聯手，清洗秘籍公開
關鍵字：數據,模型,研究人員,參數,報告
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：編輯部
【新智元導讀】是時候把數據Scale Down了！Llama 3揭示了這個可怕的事實：數據量從2T增加到15T，就能大力出奇跡，所以要想要有GPT-3到GPT-4的提升，下一代模型至少還要150T的數據。好在，最近有團隊從CommonCrawl里洗出了240T數據——現在數據已經不缺了，但你有卡嗎？是時候把數據Scale Down了！
如今，這個問題已經迫在眉睫。
清華博士秦禹嘉表示，Llama 3就揭示了一個嚴峻且悲觀的現實：在不改變模型架構的情況下，將數據量從2萬億（2T）增加到15萬億（15T），就能大力出奇跡。
這也就意味著，從長遠來看，基座模型的發展機會，只能獨屬于大公司。
而考慮到Scalng Law的邊際效應，如果我們希望在下一代模型身上看到從GPT-3到GPT-4級別的演進，就需要至少再清洗出至少10個數量級的數據（比如150T）。
就在最近，好消息來了！
DCLM團隊從CommonCrawl里，清洗出了240T的數據。
論文地址：https://arxiv.org/abs/2406.11794
顯然，這給Scaling Law的支持者們帶來了

原文鏈接：240萬億巨量數據被洗出，足夠訓出18個GPT-4！全球23所機構聯手，清洗秘籍公開

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。