Datasets for Large Language Models: A Comprehensive Survey

📄 arXiv: 2402.18041v1 📥 PDF

作者: Yang Liu, Jiahuan Cao, Chongyu Liu, Kai Ding, Lianwen Jin

分类: cs.CL, cs.AI

发布日期: 2024-02-28

备注: 181 pages, 21 figures

🔗 代码/项目: GITHUB

💡 一句话要点

综述大型语言模型数据集以推动研究进展

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数据集综述 自然语言处理 预训练语料 微调数据集 评估数据集 数据统计 研究资源

📋 核心要点

  1. 现有关于大型语言模型数据集的研究缺乏全面的概述和深入的分析，导致研究者难以获取相关信息。
  2. 本文通过整合和分类LLM数据集的基本特征，提供了五个维度的详细分析，旨在为研究者提供参考。
  3. 调查结果显示，现有数据集的总数据量超过774.5 TB，涵盖多个语言和领域，为未来研究提供了丰富的资源。

📝 摘要（中文）

本文探讨了大型语言模型（LLM）数据集的重要性，这些数据集是LLM发展的基础设施。为了填补当前对LLM数据集缺乏全面概述和深入分析的空白，本文从五个方面整合和分类了LLM数据集的基本特征，包括预训练语料、指令微调数据集、偏好数据集、评估数据集和传统自然语言处理数据集。调查涵盖了444个数据集的统计信息，涉及8种语言和32个领域，总数据量超过774.5 TB，提供了对现有数据集资源的全面回顾，并指出了未来研究的潜在方向。

🔬 方法详解

问题定义：本文旨在解决当前对大型语言模型（LLM）数据集缺乏全面概述和深入分析的问题，现有研究未能系统性地整理和分类这些数据集的特征与应用。

核心思路：通过从预训练语料、指令微调数据集、偏好数据集、评估数据集和传统自然语言处理数据集五个维度进行整合与分类，本文提供了对LLM数据集的全面视角，帮助研究者更好地理解和利用这些数据集。

技术框架：整体架构包括数据集的分类、统计信息的收集与分析，涉及444个数据集的详细统计，涵盖8种语言和32个领域，提供了丰富的数据支持。

关键创新：本文的创新点在于系统性地整合了LLM数据集的各个方面，填补了现有文献中的空白，为研究者提供了一个全面的参考框架。

关键设计：在数据统计中，本文考虑了20个维度的信息，确保了数据集的多样性和全面性，提供了774.5 TB的预训练语料和700M实例的其他数据集的详细统计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

调查结果显示，本文涵盖的444个数据集的总数据量超过774.5 TB，提供了对8种语言和32个领域的全面统计。这一数据为未来的研究提供了重要的基础，帮助研究者更好地理解和利用LLM数据集。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译、对话系统等，能够为研究者提供丰富的数据资源，推动相关领域的研究进展。通过对数据集的深入分析，研究者可以更有效地选择和利用数据集，从而提升模型的性能和应用效果。

📄 摘要（原文）

This paper embarks on an exploration into the Large Language Model (LLM) datasets, which play a crucial role in the remarkable advancements of LLMs. The datasets serve as the foundational infrastructure analogous to a root system that sustains and nurtures the development of LLMs. Consequently, examination of these datasets emerges as a critical topic in research. In order to address the current lack of a comprehensive overview and thorough analysis of LLM datasets, and to gain insights into their current status and future trends, this survey consolidates and categorizes the fundamental aspects of LLM datasets from five perspectives: (1) Pre-training Corpora; (2) Instruction Fine-tuning Datasets; (3) Preference Datasets; (4) Evaluation Datasets; (5) Traditional Natural Language Processing (NLP) Datasets. The survey sheds light on the prevailing challenges and points out potential avenues for future investigation. Additionally, a comprehensive review of the existing available dataset resources is also provided, including statistics from 444 datasets, covering 8 language categories and spanning 32 domains. Information from 20 dimensions is incorporated into the dataset statistics. The total data size surveyed surpasses 774.5 TB for pre-training corpora and 700M instances for other datasets. We aim to present the entire landscape of LLM text datasets, serving as a comprehensive reference for researchers in this field and contributing to future studies. Related resources are available at: https://github.com/lmmlzn/Awesome-LLMs-Datasets.