How to Train Data-Efficient LLMs

📄 arXiv: 2402.09668v1 📥 PDF

作者: Noveen Sachdeva, Benjamin Coleman, Wang-Cheng Kang, Jianmo Ni, Lichan Hong, Ed H. Chi, James Caverlee, Julian McAuley, Derek Zhiyuan Cheng

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-02-15

备注: Under review. 44 pages, 30 figures

💡 一句话要点

提出数据高效的LLM训练方法以降低资源消耗

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数据高效训练 零-shot推理 Density采样 模型优化

📋 核心要点

  1. 现有的大型语言模型训练方法成本高且资源消耗大，难以实现数据高效利用。
  2. 论文提出的Ask-LLM和Density采样方法，分别通过零-shot推理和数据分布建模来优化训练数据选择。
  3. 实验结果显示，使用Ask-LLM数据训练的模型性能优于全数据训练，且收敛速度显著提升。

📝 摘要（中文）

大型语言模型（LLMs）的训练成本高昂。本文研究了数据高效的预训练方法，旨在优化模型质量与训练资源/数据消耗之间的平衡。我们探讨了基于（i）计算代价高的数据质量评估和（ii）特征空间中覆盖率和多样性度量的选择策略的权衡。我们提出的第一个技术Ask-LLM利用指令调优LLMs的零-shot推理能力直接评估训练样本的质量。为了实现覆盖率，我们提出了Density采样，通过建模数据分布来选择多样化样本。在对19种采样器的比较中，Ask-LLM和Density在各自类别中表现最佳。覆盖率采样能够恢复全数据的性能，而使用Ask-LLM数据训练的模型在拒绝90%原始数据集的情况下，性能始终优于全数据训练，并且收敛速度提高了70%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型训练中的数据效率问题，现有方法往往需要大量数据和计算资源，导致训练成本高昂。

核心思路：论文提出了两种新方法：Ask-LLM利用LLM的推理能力评估训练样本质量，Density采样通过建模数据分布选择多样化样本，从而提高数据利用效率。

技术框架：整体流程包括数据质量评估、样本选择和模型训练三个主要模块。首先，使用Ask-LLM评估样本质量，然后通过Density采样选择多样本，最后进行模型训练。

关键创新：最重要的创新在于结合了零-shot推理与数据分布建模，形成了一种新的数据选择策略，显著提高了训练效率和模型性能。

关键设计：在Ask-LLM中，采用了指令调优的LLM进行质量评估；Density采样则通过高斯混合模型等方法建模数据分布，确保选择的样本具有高覆盖率和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用Ask-LLM数据训练的模型在拒绝90%原始数据的情况下，性能始终优于全数据训练，且收敛速度提高了70%。在19种采样器的比较中，Ask-LLM和Density采样分别在质量评估和样本选择上表现最佳。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过提高数据利用效率，能够降低训练成本，使得更多的研究机构和企业能够参与到大型语言模型的开发中，推动相关技术的普及与应用。

📄 摘要（原文）

The training of large language models (LLMs) is expensive. In this paper, we study data-efficient approaches for pre-training LLMs, i.e., techniques that aim to optimize the Pareto frontier of model quality and training resource/data consumption. We seek to understand the tradeoffs associated with data selection routines based on (i) expensive-to-compute data-quality estimates, and (ii) maximization of coverage and diversity-based measures in the feature space. Our first technique, Ask-LLM, leverages the zero-shot reasoning capabilities of instruction-tuned LLMs to directly assess the quality of a training example. To target coverage, we propose Density sampling, which models the data distribution to select a diverse sample. In our comparison of 19 samplers, involving hundreds of evaluation tasks and pre-training runs, we find that Ask-LLM and Density are the best methods in their respective categories. Coverage sampling can recover the performance of the full data, while models trained on Ask-LLM data consistently outperform full-data training -- even when we reject 90% of the original dataset, while converging up to 70% faster.