Pile是一個825 GiB的多樣化、開源的語言建模數(shù)據(jù)集，由22個較小的高質(zhì)量數(shù)據(jù)集組合而成，可用于訓(xùn)練大規(guī)模的語言模型，提升模型的泛化能力和跨領(lǐng)域知識。，The Pile官網(wǎng)入口網(wǎng)址