SHED: Shapley-Based Automated Dataset Refinement for Instruction Fine-Tuning

📄 arXiv: 2405.00705v2 📥 PDF

作者: Yexiao He, Ziyao Wang, Zheyu Shen, Guoheng Sun, Yucong Dai, Yongkai Wu, Hongyi Wang, Ang Li

分类: cs.CL, cs.LG

发布日期: 2024-04-23 (更新: 2024-10-30)

备注: NeurIPS 2024

💡 一句话要点

提出SHED框架以解决数据集精炼问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据集精炼 Shapley值 自动化框架 指令微调 高质量数据 模型性能提升 自然语言处理

📋 核心要点

  1. 现有方法在大规模数据集中难以有效识别高质量数据，导致数据冗余和性能下降。
  2. SHED框架利用Shapley值进行自动化数据集精炼，消除人工干预，提升数据集质量。
  3. 实验结果显示，SHED策划的数据集在多种任务上表现优越，仅需原始数据的10%即可达到或超过完整数据集的性能。

📝 摘要（中文）

预训练的大型语言模型（LLMs）可以通过微调适应多种下游任务，并与人类偏好对齐。近期研究发现，LLMs在仅使用少量高质量数据时也能取得良好表现，这表明大量数据集中的数据是冗余或有害的。识别高质量数据以策划小而有效的数据集成为一项关键挑战。本文提出了SHED，一个基于Shapley值的自动化数据集精炼框架，旨在进行指令微调。SHED无需人工干预或商业LLMs的使用，且通过SHED策划的数据集具有可迁移性，能够在不同LLMs中重复使用并保持高性能。实验结果表明，SHED在多种任务和LLMs上优于现有最先进的方法，特别是仅使用SHED选择的10%原始数据的数据集，其性能可与完整数据集相媲美或超越。

🔬 方法详解

问题定义：本文旨在解决如何从庞大的数据集中识别和提取高质量数据的问题。现有方法往往依赖人工筛选或商业LLMs，效率低下且容易引入偏差。

核心思路：SHED框架的核心思想是基于Shapley值的自动化数据集精炼，通过量化每个数据样本对模型性能的贡献，选择出最具代表性和有效性的数据。这样的设计能够减少人工干预，提高数据集的质量和适用性。

技术框架：SHED的整体架构包括数据输入模块、Shapley值计算模块和数据输出模块。首先，输入原始数据集，然后通过Shapley值计算模块评估每个样本的贡献，最后输出精炼后的高质量数据集。

关键创新：SHED的主要创新在于其自动化的数据精炼过程，利用Shapley值的理论基础，能够有效识别出对模型性能提升最有价值的数据样本。这与传统方法的人工筛选或简单的统计方法有本质区别。

关键设计：在SHED中，关键参数包括Shapley值的计算精度和样本选择的阈值。此外，损失函数设计上注重模型的泛化能力，确保精炼后的数据集在不同任务中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SHED策划的数据集在多种任务上表现优越，尤其是仅使用原始数据的10%时，其性能可与完整数据集相媲美或超越，显示出SHED在数据集精炼方面的显著优势。

🎯 应用场景

SHED框架的潜在应用领域包括自然语言处理、机器翻译和对话系统等。通过高效的数据集精炼，研究人员和开发者能够快速构建高质量的训练集，从而提升模型的性能和适应性。未来，SHED可能在数据驱动的AI应用中发挥重要作用，推动更高效的模型训练和优化。

📄 摘要（原文）

The pre-trained Large Language Models (LLMs) can be adapted for many downstream tasks and tailored to align with human preferences through fine-tuning. Recent studies have discovered that LLMs can achieve desirable performance with only a small amount of high-quality data, suggesting that a large amount of the data in these extensive datasets is redundant or even harmful. Identifying high-quality data from vast datasets to curate small yet effective datasets has emerged as a critical challenge. In this paper, we introduce SHED, an automated dataset refinement framework based on Shapley value for instruction fine-tuning. SHED eliminates the need for human intervention or the use of commercial LLMs. Moreover, the datasets curated through SHED exhibit transferability, indicating they can be reused across different LLMs with consistently high performance. We conduct extensive experiments to evaluate the datasets curated by SHED. The results demonstrate SHED's superiority over state-of-the-art methods across various tasks and LLMs; notably, datasets comprising only 10% of the original data selected by SHED achieve performance comparable to or surpassing that of the full datasets.