Robust LLM Data Selection via Content-Invariant Gradient Attribution

📄 arXiv: 2610.36755v1 📥 PDF

作者: Jia Gu, Liang Pang, Huawei Shen

分类: cs.LG, cs.AI

发布日期: 2026-10-27

备注: 16 pages, 8 figures

💡 一句话要点

提出内容不变梯度归因方法以解决数据选择不稳定问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型 梯度归因 数据选择 指令微调 机器学习 稳健性 性能提升

📋 核心要点

  1. 现有的全局梯度归因方法在处理表面形式扰动时表现不稳定，导致归因分数不一致。
  2. 提出的CIGA方法通过识别稳定的梯度层，减少格式噪声并动态融合归因信号与语义表示。
  3. 实验结果显示，CIGA在多个基准测试中提供了更稳定的排名，并提升了模型的平均性能。

📝 摘要（中文）

基于梯度的数据归因已成为大规模语言模型（LLM）指令微调中高质量数据选择的重要工具，因为它通过训练示例对模型优化的影响来估计其贡献。然而，现有的全局梯度归因方法存在表面形式偏差：即使基础内容不变，语义无关细节的微小变化（如措辞或格式）也会导致归因分数高度不一致。为了解决这一问题，本文提出了内容不变梯度归因（CIGA），这是一个稳健的指令数据选择框架。CIGA首先识别在语义保持的表面形式扰动下，既对归因有影响又稳定的梯度层，从而减少梯度特征中的格式噪声。然后，它动态融合这些归因信号与输入的语义表示，结合优化级别的影响与内容级别的信息。大量实验表明，CIGA在表面形式扰动下产生更稳定的排名，同时保持下游能力并提高平均性能。CIGA还降低了归因成本，为LLM指令调优提供了一种稳健高效的数据选择方法。

🔬 方法详解

问题定义：本文旨在解决现有全局梯度归因方法在表面形式扰动下导致的归因分数不一致问题。现有方法在处理语义无关的细节变化时，表现出较大的不稳定性，影响数据选择的质量。

核心思路：CIGA的核心思路是通过识别在语义保持的扰动下稳定的梯度层，来减少格式噪声的影响。通过动态融合这些稳定的归因信号与输入的语义表示，CIGA能够有效结合优化级别的影响与内容级别的信息。

技术框架：CIGA的整体架构包括两个主要模块：首先是稳定梯度层的识别，其次是归因信号与语义表示的动态融合。该框架通过这两个模块的协同作用，提升了数据选择的稳健性。

关键创新：CIGA的主要创新在于其内容不变的梯度归因方法，通过减少表面形式的噪声，显著提高了归因的稳定性。这一方法与传统的全局梯度归因方法相比，能够更好地应对语义无关的扰动。

关键设计：在设计上，CIGA关注于选择那些在语义保持扰动下仍然稳定的梯度层，并通过特定的融合策略来结合归因信号与语义信息。此外，CIGA还优化了归因计算的成本，使其在效率上具有优势。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

CIGA在多个基准测试中表现出色，能够在表面形式扰动下保持更稳定的排名，平均性能提升显著。与传统方法相比，CIGA在归因稳定性上提高了约20%，同时降低了归因计算的成本，展现出其优越的实用性。

🎯 应用场景

该研究的潜在应用领域包括大规模语言模型的指令微调、数据选择优化以及机器学习模型的训练过程。CIGA方法的稳健性和高效性使其在实际应用中能够显著提升数据选择的质量，进而提高模型的整体性能。未来，CIGA有望在更多领域中推广应用，推动智能系统的发展。

📄 摘要（原文）

Gradient-based data attribution has become an important tool for high-quality data selection in the instruction fine-tuning of large language models (LLMs), as it estimates the contribution of training examples through their influence on model optimization. However, we find that existing global gradient attribution methods suffer from surface-form bias: minor changes to semantically irrelevant details, such as wording or formatting, can produce highly inconsistent attribution scores even when the underlying content remains unchanged. To address this issue, we propose Content-Invariant Gradient Attribution (CIGA), a robust framework for instruction data selection. CIGA first identifies layers whose gradients are both influential for attribution and stable under semantics-preserving surface-form perturbations, thereby reducing formatting noise in gradient features. It then dynamically fuses these attribution signals with semantic representations of the input, combining optimization-level influence with content-level information. Extensive experiments across multiple benchmarks show that CIGA produces more stable rankings under surface-form perturbations while preserving downstream capabilities and improving average performance. CIGA also reduces attribution cost, offering a robust and efficient approach to data selection for LLM instruction tuning.