Building a Large Japanese Web Corpus for Large Language Models

📄 arXiv: 2404.17733v1 📥 PDF

作者: Naoaki Okazaki, Kakeru Hattori, Hirai Shota, Hiroki Iida, Masanari Ohi, Kazuki Fujii, Taishi Nakamura, Mengsay Loem, Rio Yokota, Sakae Mizuki

分类: cs.CL, cs.AI

发布日期: 2024-04-27

备注: 17 pages

💡 一句话要点

构建大型日语网络语料库以提升日语大语言模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 日语大语言模型 网络语料库 文本提取 数据清洗 机器学习

📋 核心要点

  1. 现有的日语大语言模型训练语料库未能专注于日语文本的质量，导致模型性能受限。
  2. 本研究通过从Common Crawl中提取和精炼文本，构建了一个包含3121亿字符的大型日语网络语料库。
  3. 在Llama 2等模型上进行的实验显示，该语料库在日语基准数据集上提升了6.6至8.1分，效果显著。

📝 摘要（中文）

开放的日语大语言模型（LLMs）通常使用CC-100、mC4和OSCAR等语料库的日语部分进行训练，但这些语料库并未专门针对日语文本的质量进行构建。本研究通过从Common Crawl档案中提取和精炼文本，构建了一个大型日语网络语料库。该语料库包含约3121亿个字符（约1.73亿个页面），是目前可用于日语LLMs训练的最大语料库。通过对Llama 2等基础LLMs进行持续预训练，验证了该语料库的质量，并在日语基准数据集上获得了6.6至8.1分的一致性提升。

🔬 方法详解

问题定义：本研究旨在解决现有日语大语言模型训练语料库质量不足的问题，现有语料库如CC-100等未能有效支持日语文本的特性。

核心思路：通过从Common Crawl档案中提取和精炼日语文本，构建一个专门针对日语的高质量大规模语料库，以提升日语大语言模型的训练效果。

技术框架：整体流程包括数据抓取、文本提取、数据清洗和质量评估等多个阶段，确保最终语料库的高质量和多样性。

关键创新：本研究构建的语料库规模达到3121亿字符，超越了现有的所有日语训练语料库，且在模型预训练中表现出显著的性能提升。

关键设计：在数据处理过程中，采用了特定的文本清洗算法和质量评估标准，确保语料库中的文本符合日语的语言特性和使用习惯。实验中使用了Llama 2等多种基础模型进行验证。

🖼️ 关键图片

fig_0

📊 实验亮点

在对Llama 2等基础模型进行的实验中，使用新构建的语料库在日语基准数据集上获得了6.6至8.1分的提升，且在Llama 2 13B模型上取得的提升幅度最大，显示出该语料库的优越性。

🎯 应用场景

该研究的成果可广泛应用于日语自然语言处理领域，包括机器翻译、文本生成和情感分析等。高质量的日语语料库将为研究人员和开发者提供更好的训练基础，推动日语大语言模型的进一步发展和应用。

📄 摘要（原文）

Open Japanese large language models (LLMs) have been trained on the Japanese portions of corpora such as CC-100, mC4, and OSCAR. However, these corpora were not created for the quality of Japanese texts. This study builds a large Japanese web corpus by extracting and refining text from the Common Crawl archive (21 snapshots of approximately 63.4 billion pages crawled between 2020 and 2023). This corpus consists of approximately 312.1 billion characters (approximately 173 million pages), which is the largest of all available training corpora for Japanese LLMs, surpassing CC-100 (approximately 25.8 billion characters), mC4 (approximately 239.7 billion characters) and OSCAR 23.10 (approximately 74 billion characters). To confirm the quality of the corpus, we performed continual pre-training on Llama 2 7B, 13B, 70B, Mistral 7B v0.1, and Mixtral 8x7B Instruct as base LLMs and gained consistent (6.6-8.1 points) improvements on Japanese benchmark datasets. We also demonstrate that the improvement on Llama 2 13B brought from the presented corpus was the largest among those from other existing corpora.