Rephrasing the Web: A Recipe for Compute and Data-Efficient Language Modeling

📄 arXiv: 2401.16380v1 📥 PDF

作者: Pratyush Maini, Skyler Seto, He Bai, David Grangier, Yizhe Zhang, Navdeep Jaitly

分类: cs.CL

发布日期: 2024-01-29

💡 一句话要点

提出WRAP以解决大规模语言模型训练中的数据与计算效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 数据增强 合成数据 预训练 自然语言处理 模型优化 计算效率

📋 核心要点

  1. 现有的大规模语言模型训练依赖于大量的网络数据，这些数据通常质量不高，导致训练效率低下。
  2. 本文提出WRAP方法，通过对网络文档进行特定风格的改写，生成合成数据以提高模型的训练效率和性能。
  3. 实验结果显示，WRAP在C4数据集上加速预训练约3倍，并在多个任务上显著提升模型性能。

📝 摘要（中文）

大规模语言模型通常在大量的网络数据上进行训练，这些数据往往结构不良、噪声多且表述不清。现有的扩展规律表明，从这些数据中学习需要大量的计算和数据，这在训练大型模型时变得不可行。本文提出了Web Rephrase Augmented Pre-training（WRAP），利用现成的指令调优模型对网络文档进行特定风格的改写，以联合预训练真实和合成的改写数据。实验结果表明，WRAP在C4数据集上加速预训练约3倍，并在相同的计算预算下，提升了不同子集的困惑度超过10%，在13个任务的零-shot问答准确率上提升超过2%。

🔬 方法详解

问题定义：本文旨在解决大规模语言模型训练中对低质量网络数据的依赖，现有方法在计算和数据需求上存在显著不足，导致训练效率低下。

核心思路：WRAP方法通过利用指令调优模型对网络文档进行特定风格的改写，生成合成数据，从而提高模型的训练效率和性能。

技术框架：WRAP的整体架构包括数据收集、改写生成和联合预训练三个主要模块。首先，从网络中收集数据，然后使用指令调优模型生成不同风格的改写，最后将这些合成数据与真实数据结合进行模型预训练。

关键创新：WRAP的核心创新在于通过合成的改写数据提升模型性能，这些数据在风格多样性和质量上优于传统的网络抓取数据。与现有方法相比，WRAP能够更好地适应下游任务的评估风格。

关键设计：在WRAP中，关键设计包括改写风格的选择、合成数据的生成策略以及与真实数据的结合方式。这些设计确保了合成数据的高效利用和模型的有效训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用WRAP方法在C4数据集上加速预训练约3倍，同时在相同的计算预算下，困惑度提升超过10%，在13个任务的零-shot问答准确率上提升超过2%。这些结果表明WRAP在提高模型性能方面具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、信息检索和对话系统等。通过提高大规模语言模型的训练效率和性能，WRAP方法能够在实际应用中更好地处理复杂的语言任务，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models are trained on massive scrapes of the web, which are often unstructured, noisy, and poorly phrased. Current scaling laws show that learning from such data requires an abundance of both compute and data, which grows with the size of the model being trained. This is infeasible both because of the large compute costs and duration associated with pre-training, and the impending scarcity of high-quality data on the web. In this work, we propose Web Rephrase Augmented Pre-training ($\textbf{WRAP}$) that uses an off-the-shelf instruction-tuned model prompted to paraphrase documents on the web in specific styles such as "like Wikipedia" or in "question-answer format" to jointly pre-train LLMs on real and synthetic rephrases. First, we show that using WRAP on the C4 dataset, which is naturally noisy, speeds up pre-training by $\sim3x$. At the same pre-training compute budget, it improves perplexity by more than 10% on average across different subsets of the Pile, and improves zero-shot question answer accuracy across 13 tasks by more than 2%. Second, we investigate the impact of the re-phrasing style on the performance of the model, offering insights into how the composition of the training data can impact the performance of LLMs in OOD settings. Our gains are attributed to the fact that re-phrased synthetic data has higher utility than just real data because it (i) incorporates style diversity that closely reflects downstream evaluation style, and (ii) has higher 'quality' than web-scraped data.