ChineseWebText: Large-scale High-quality Chinese Web Text Extracted with Effective Evaluation Model

📄 arXiv: 2311.01149v2 📥 PDF

作者: Jianghao Chen, Pu Jian, Tengxiao Xi, Dongyi Yi, Qianlong Du, Chenglin Ding, Guibo Zhu, Chengqing Zong, Jinqiao Wang, Jiajun Zhang

分类: cs.CL

发布日期: 2023-11-02 (更新: 2023-11-10)

💡 一句话要点

提出EvalWeb工具链以解决中文网络文本提取质量问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 中文文本提取 大型语言模型 数据质量评估 EvalWeb工具链 自然语言处理

📋 核心要点

  1. 现有的大规模数据集主要集中于英语，缺乏高质量的中文网络文本提取工具链，导致中文LLMs研究受限。
  2. 本文提出EvalWeb工具链，通过手动规则过滤噪声文本，并使用评估模型为剩余文本打分，从而提取高质量中文文本。
  3. 最终发布的ChineseWebText数据集包含1.42 TB的中文文本，并提供600 GB质量超过90%的清洁子集，显著提升了中文LLMs的训练数据质量。

📝 摘要（中文）

在大型语言模型（LLMs）的发展过程中，预训练数据的规模和质量至关重要。尽管已有多个大规模数据集发布，但大多数集中于英语，缺乏完整的中文文本提取工具链。为此，本文提出了EvalWeb工具链，通过手动规则和评估模型提取高质量中文文本，并为每个文本分配质量评分。最终发布的ChineseWebText数据集包含1.42 TB的高质量中文文本，支持LLM研究者根据质量阈值选择数据。

🔬 方法详解

问题定义：本文旨在解决中文网络文本提取中的质量问题，现有方法缺乏有效的工具链和质量评估机制，导致提取的文本质量参差不齐。

核心思路：EvalWeb工具链结合手动规则和自动评估模型，首先剔除明显的噪声文本，然后对剩余文本进行质量评分，以确保提取文本的高质量。

技术框架：EvalWeb工具链主要包括两个阶段：第一阶段使用手动规则过滤原始爬取的网页内容，第二阶段利用评估模型对清理后的文本进行质量评估和打分。

关键创新：本文的创新在于提出了一种完整的中文文本提取工具链，结合了规则过滤和质量评估，解决了以往方法中缺乏质量控制的问题。

关键设计：在评估模型中，设计了特定的质量评分机制，能够根据文本特征自动评估其质量，并通过设置适当的阈值来选择高质量的预训练数据。具体的参数设置和模型结构在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用EvalWeb工具链提取的ChineseWebText数据集，文本质量评分超过90%的子集达600 GB，整体数据集大小达到1.42 TB，显著提升了中文文本的质量，为LLM研究提供了可靠的数据基础。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等，能够为中文LLMs的训练提供高质量的数据支持，提升模型的性能和应用效果。未来，随着更多高质量数据的发布，中文AI研究将迎来新的发展机遇。

📄 摘要（原文）

During the development of large language models (LLMs), the scale and quality of the pre-training data play a crucial role in shaping LLMs' capabilities. To accelerate the research of LLMs, several large-scale datasets, such as C4 [1], Pile [2], RefinedWeb [3] and WanJuan [4], have been released to the public. However, most of the released corpus focus mainly on English, and there is still lack of complete tool-chain for extracting clean texts from web data. Furthermore, fine-grained information of the corpus, e.g. the quality of each text, is missing. To address these challenges, we propose in this paper a new complete tool-chain EvalWeb to extract Chinese clean texts from noisy web data. First, similar to previous work, manually crafted rules are employed to discard explicit noisy texts from the raw crawled web contents. Second, a well-designed evaluation model is leveraged to assess the remaining relatively clean data, and each text is assigned a specific quality score. Finally, we can easily utilize an appropriate threshold to select the high-quality pre-training data for Chinese. Using our proposed approach, we release the largest and latest large-scale high-quality Chinese web text ChineseWebText, which consists of 1.42 TB and each text is associated with a quality score, facilitating the LLM researchers to choose the data according to the desired quality thresholds. We also release a much cleaner subset of 600 GB Chinese data with the quality exceeding 90%.