Follow the Gradient: Tracing Safety Degradation Back to Training Data

📄 arXiv: 2610.37481v1 📥 PDF

作者: Saket Reddy, Amro Abbas, Anshuman Suri, Ari Morcos, David Schwab, Pratyush Maini

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-27

💡 一句话要点

提出SimpleLoRIF以解决大语言模型安全性下降问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 安全性过滤 梯度嵌入 大型语言模型 微调 数据集优化 机器学习

📋 核心要点

  1. 核心问题：微调大型语言模型时，安全性可能悄然下降，现有方法难以识别看似无害但实际上有害的训练数据。
  2. 方法要点：提出SimpleLoRIF，通过梯度嵌入识别与不安全行为对齐的微调示例，提升了数据集的过滤能力。
  3. 实验或效果：SafeTulu在移除不安全示例后，GCG攻击成功率降低最多22%，同时保持或提升了模型能力。

📝 摘要（中文）

对大型语言模型（LLMs）进行指令数据微调可能会悄然降低其安全性，即使训练示例看似无害。由于这些安全性下降的数据看起来是良性的，标准内容过滤器难以捕捉。为此，本文开发了SimpleLoRIF，一种可扩展的梯度嵌入方法，能够识别与不安全行为对齐的微调示例。通过简化低秩归因方法并限制反向传播到最后四个变换器块，SimpleLoRIF能够嵌入百万级示例的数据集，将梯度归因从小规模分析工具提升为全后训练数据集的实用过滤器。我们首先在新出现的失调上验证了该方法，发现梯度可以将不安全代码训练数据与微调后出现的广泛有害行为连接起来，AUC高达0.865。然后，我们利用SimpleLoRIF构建了SafeTulu，移除了与不安全响应最对齐的20%示例，训练SafeTulu使GCG攻击成功率在Qwen、Llama和Olmo上降低了最多22%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在微调过程中由于训练数据的安全性下降问题。现有方法无法有效识别那些看似无害但实际上会导致不安全行为的训练示例。

核心思路：论文提出的SimpleLoRIF方法通过分析梯度信息，识别与不安全行为对齐的训练示例，从而实现对数据集的有效过滤。该方法的设计旨在提高对大规模数据集的处理能力，确保模型的安全性。

技术框架：SimpleLoRIF的整体架构包括梯度计算、低秩归因简化和反向传播限制。具体而言，反向传播仅限于最后四个变换器块，从而提高了处理效率。

关键创新：最重要的技术创新在于将梯度嵌入方法与低秩归因相结合，使得在大规模数据集上进行有效的安全性过滤成为可能。这一方法显著提升了传统小规模分析工具的实用性。

关键设计：在技术细节上，SimpleLoRIF通过限制反向传播的范围和简化归因过程，能够在处理百万级示例时保持高效。此外，论文还探讨了移除数据的来源，识别出可能被低估的安全性下降因素，如工具执行失败和叙事算术。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用SafeTulu训练后，GCG攻击的成功率在Qwen、Llama和Olmo模型上降低了最多22%。与之前的基线相比，SimpleLoRIF方法在安全性过滤方面表现出色，同时在保持模型能力方面也取得了显著成果，AUC值高达0.865。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的安全性提升和内容过滤，尤其是在敏感应用场景中，如自动化客服、内容生成和社交媒体监控。通过提供SafeTulu，研究者可以根据特定需求定制微调数据集，从而提高模型的安全性和可靠性。未来，该方法可能在更广泛的AI应用中发挥重要作用，确保技术的安全使用。

📄 摘要（原文）

Fine-tuning Large Language Models (LLMs) on instruction data can quietly erode their safety, even when no training example looks harmful. Because this safety-degrading data looks benign, standard content filters struggle to catch it. We tackle this problem by developing SimpleLoRIF, a scalable gradient embedding method that identifies fine-tuning examples whose gradients align with unsafe behavior. By simplifying a low-rank attribution method and restricting backpropagation to the final four transformer blocks, SimpleLoRIF can embed datasets on the order of a million examples, boosting gradient attribution from a small-scale analysis tool into a practical filter for full post-training datasets. We first validate it on emergent misalignment, where we find that gradients can connect insecure-code training data to the broadly harmful behaviors that appear after fine-tuning, with AUC as high as 0.865 in the gradient space of misaligned models. We then use SimpleLoRIF to build SafeTulu, a version of Tulu 3 with the 20% of examples most gradient-aligned with unsafe responses removed. Training on SafeTulu reduces GCG attack success rate by up to 22% across Qwen, Llama, and Olmo, outperforming both LLM-as-a-judge and prior gradient-based filtering, while largely preserving or even improving capability. Finally, we analyzed the removed data and identify possibly under-studied sources of safety degradation, such as tool-execution failures and narrative arithmetic. We release SafeTulu along with a Hugging Face Space that lets researchers build their own customized versions of SafeTulu to fine-tune on, such as by changing the removal fraction or filtering only certain subsets.