Pile是一个825 GiB的多样化、开源的语言建模数据集，由22个较小的高质量数据集组合而成，可用于训练大规模的语言模型，提升模型的泛化能力和跨领域知识，The Pile官网入口网址