DiLM: Distilling Dataset into Language Model for Text-level Dataset Distillation

📄 arXiv: 2404.00264v1 📥 PDF

作者: Aru Maekawa, Satoshi Kosugi, Kotaro Funakoshi, Manabu Okumura

分类: cs.CL, cs.LG

发布日期: 2024-03-30

备注: Accepted by Findings of NAACL 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出DiLM以解决文本数据集蒸馏中的嵌入级别限制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本数据集蒸馏 语言模型 合成样本 深度学习 自然语言处理

📋 核心要点

  1. 现有文本数据集蒸馏方法生成的合成样本为词嵌入，无法适用于不同模型的训练，限制了其应用范围。
  2. DiLM通过训练语言模型生成合成文本样本，避免了嵌入级别蒸馏的局限性，提升了样本的通用性。
  3. DiLM在多种文本分类任务中表现优异，超越了传统核心集选择方法，展现出良好的泛化能力。

📝 摘要（中文）

数据集蒸馏旨在通过创建少量信息丰富的合成样本来压缩训练数据集，使得在这些样本上训练的神经网络性能与在原始训练数据集上训练的网络相当。目前的文本数据集蒸馏方法通常将每个合成样本表示为词嵌入序列，而非文本，这限制了其在不同词嵌入权重模型上的应用。为了解决这一问题，本文提出了一种新的文本数据集蒸馏方法，称为DiLM，该方法训练语言模型生成合成训练样本作为文本数据，而不是直接优化合成样本。实验表明，DiLM在多种文本分类数据集上表现优于现有的核心集选择方法，并在训练不同类型模型和大语言模型的上下文学习中展现出显著的泛化性能。

🔬 方法详解

问题定义：本文解决的问题是现有文本数据集蒸馏方法生成的合成样本为词嵌入，无法用于不同词嵌入权重的模型训练，导致应用受限。

核心思路：DiLM的核心思路是训练一个语言模型来生成合成的文本样本，而不是直接优化词嵌入。这种设计使得生成的样本更具通用性，能够适用于多种模型。

技术框架：DiLM的整体架构包括数据集输入、语言模型训练和合成样本生成三个主要模块。首先，输入原始数据集，然后通过训练语言模型生成合成样本，最后输出可用于训练的文本数据。

关键创新：DiLM的关键创新在于将数据集蒸馏从嵌入级别转向文本级别，显著提高了合成样本的适用性和泛化能力。这一转变使得生成的样本能够在不同模型间共享。

关键设计：在关键设计上，DiLM使用了特定的损失函数来优化语言模型的生成质量，并在网络结构上进行了调整，以确保生成的文本样本具有高信息量和多样性。

📊 实验亮点

DiLM在多种文本分类数据集上表现出色，相较于传统核心集选择方法，合成样本的性能提升显著，具体表现为在不同模型训练中的泛化能力增强，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括文本分类、情感分析和其他自然语言处理任务。通过生成高质量的合成训练样本，DiLM能够帮助研究人员和开发者在数据稀缺的情况下有效训练模型，提升模型性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Dataset distillation aims to compress a training dataset by creating a small number of informative synthetic samples such that neural networks trained on them perform as well as those trained on the original training dataset. Current text dataset distillation methods create each synthetic sample as a sequence of word embeddings instead of a text to apply gradient-based optimization; however, such embedding-level distilled datasets cannot be used for training other models whose word embedding weights are different from the model used for distillation. To address this issue, we propose a novel text dataset distillation approach, called Distilling dataset into Language Model (DiLM), which trains a language model to generate informative synthetic training samples as text data, instead of directly optimizing synthetic samples. We evaluated DiLM on various text classification datasets and showed that distilled synthetic datasets from DiLM outperform those from current coreset selection methods. DiLM achieved remarkable generalization performance in training different types of models and in-context learning of large language models. Our code will be available at https://github.com/arumaekawa/DiLM.