Better Synthetic Data by Retrieving and Transforming Existing Datasets

📄 arXiv: 2404.14361v3 📥 PDF

作者: Saumya Gandhi, Ritu Gala, Vijay Viswanathan, Tongshuang Wu, Graham Neubig

分类: cs.CL

发布日期: 2024-04-22 (更新: 2024-04-26)

备注: PDF fixed in v3

🔗 代码/项目: GITHUB

💡 一句话要点

提出DataTune以改善合成数据生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成数据生成 自然语言处理 数据集转换 模型微调 数据多样性

📋 核心要点

  1. 现有的合成数据生成方法往往缺乏复杂性和多样性，导致训练数据质量不高。
  2. 本文提出的DataTune方法通过转换现有公开数据集，使其更好地适应特定任务的需求。
  3. 实验结果表明，DataTune在多种语言任务中显著提升了模型性能，尤其是在数据多样性和难度方面。

📝 摘要（中文）

尽管大型语言模型取得了显著进展，但构建可靠的自然语言处理（NLP）模型通常需要大量高质量的训练数据。然而，许多用例缺乏特定任务的数据，手动整理这些数据也非常耗时。虽然近期研究探讨了基于提示的合成数据生成，但生成的数据往往缺乏复杂性和多样性。为了解决这些问题，本文提出了一种方法DataTune，通过对现有公开数据集进行转换，使其更好地符合特定任务的要求。在BIG-Bench基准上的多种语言任务中，使用DataTune微调语言模型的性能比少量提示基线提高了49%，比现有的合成或检索训练数据的方法提高了34%。

🔬 方法详解

问题定义：本文旨在解决现有合成数据生成方法在复杂性和多样性上的不足，特别是在特定任务缺乏高质量训练数据的情况下。

核心思路：DataTune通过对现有公开数据集进行转换，重新利用这些数据集，使其格式与目标任务的要求直接对齐，从而提升合成数据的质量。

技术框架：DataTune的整体架构包括数据集检索、数据集转换和模型微调三个主要模块。首先，从公开数据集中检索相关数据，然后对其进行格式转换，最后使用转换后的数据对语言模型进行微调。

关键创新：DataTune的核心创新在于其数据集转换机制，能够有效提升生成数据的多样性和复杂性，与传统的合成数据生成方法相比，显著改善了数据质量。

关键设计：在实现过程中，DataTune采用了特定的转换算法和损失函数，以确保生成数据的多样性和任务适应性，同时在微调过程中使用了优化的超参数设置，以提高模型的学习效率。

📊 实验亮点

实验结果显示，使用DataTune微调语言模型的性能比少量提示基线提高了49%，并且比现有的合成或检索训练数据的方法提高了34%。此外，数据集转换显著增加了生成数据的多样性和难度，表明该方法在提升数据质量方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本分类、情感分析和对话系统等。通过提高合成数据的质量，DataTune可以帮助研究人员和开发者在数据稀缺的情况下构建更可靠的模型，具有重要的实际价值和未来影响。

📄 摘要（原文）

Despite recent advances in large language models, building dependable and deployable NLP models typically requires abundant, high-quality training data. However, task-specific data is not available for many use cases, and manually curating task-specific data is labor-intensive. Recent work has studied prompt-driven synthetic data generation using large language models, but these generated datasets tend to lack complexity and diversity. To address these limitations, we introduce a method, DataTune, to make better use of existing, publicly available datasets to improve automatic dataset generation. DataTune performs dataset transformation, enabling the repurposing of publicly available datasets into a format that is directly aligned with the specific requirements of target tasks. On a diverse set of language-based tasks from the BIG-Bench benchmark, we find that finetuning language models via DataTune improves over a few-shot prompting baseline by 49% and improves over existing methods that use synthetic or retrieved training data by 34%. We find that dataset transformation significantly increases the diversity and difficulty of generated data on many tasks. We integrate DataTune into an open-source repository to make this method accessible to the community: https://github.com/neulab/prompt2model.