Erase or Hide? Suppressing Spurious Unlearning Neurons for Robust Unlearning

📄 arXiv: 2509.22263v1 📥 PDF

作者: Nakyeong Yang, Dong-Kyum Kim, Jea Kwon, Minsung Kim, Kyomin Jung, Meeyoung Cha

分类: cs.LG

发布日期: 2025-09-26

备注: 15 pages

💡 一句话要点

提出Ssiuu方法，通过抑制虚假反学习神经元实现语言模型鲁棒反学习

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 反学习 隐私保护 语言模型 神经元 正则化

📋 核心要点

  1. 现有反学习方法易受“重新学习”攻击，无法彻底擦除目标知识，存在安全隐患。
  2. Ssiuu方法通过属性引导的正则化，抑制虚假反学习神经元的产生，实现更彻底的反学习。
  3. 实验表明，Ssiuu在对抗注入和良性攻击场景下，均优于现有反学习方法，提升了反学习的鲁棒性。

📝 摘要（中文）

大型语言模型在网络规模数据上训练，可能记忆私有或敏感知识，带来严重的隐私风险。虽然一些反学习方法可以缓解这些风险，但它们仍然容易在后续训练中“重新学习”，导致大量被遗忘的知识重新出现。本文表明，广泛使用的反学习方法会导致浅层对齐：它们不是忠实地擦除目标知识，而是生成虚假的反学习神经元，放大负面影响来隐藏它。为了克服这个限制，我们引入了Ssiuu，一种新的反学习方法，它采用属性引导的正则化来防止虚假的负面影响，并忠实地移除目标知识。实验结果证实，我们的方法可靠地擦除目标知识，并在两种实际的再训练场景中优于强大的基线：（1）私有数据的对抗注入，以及（2）使用指令跟随基准的良性攻击。我们的发现强调了鲁棒和忠实的反学习方法对于安全部署语言模型的必要性。

🔬 方法详解

问题定义：现有反学习方法在后续训练中容易出现“重新学习”现象，即模型重新记起已被删除的知识。这是因为现有方法并非真正擦除目标知识，而是通过生成“虚假反学习神经元”来放大负面影响，从而隐藏目标知识。这种浅层对齐导致模型脆弱，容易受到攻击。

核心思路：Ssiuu的核心思路是防止虚假反学习神经元的产生，从而实现对目标知识的忠实擦除。具体而言，Ssiuu通过属性引导的正则化，约束神经元的行为，使其专注于真正移除目标知识，而不是简单地隐藏它。

技术框架：Ssiuu方法主要包含以下几个步骤：1. 确定需要反学习的目标知识；2. 使用归因方法（attribution method）识别与目标知识相关的神经元；3. 应用属性引导的正则化，抑制这些神经元产生虚假的负面影响；4. 对模型进行微调，以进一步巩固反学习效果。

关键创新：Ssiuu的关键创新在于引入了属性引导的正则化，这是一种新的正则化策略，能够有效地防止虚假反学习神经元的产生。与现有方法相比，Ssiuu能够更彻底、更鲁棒地擦除目标知识，降低了模型被重新学习的风险。

关键设计：Ssiuu的关键设计包括：1. 使用合适的归因方法来准确识别与目标知识相关的神经元；2. 设计有效的正则化项，以约束神经元的行为，防止其产生虚假的负面影响。正则化项的设计需要考虑神经元激活值的分布、梯度信息等因素。具体的损失函数可能包含L1或L2正则化项，以及基于归因值的正则化项。

📊 实验亮点

实验结果表明，Ssiuu在对抗注入私有数据和使用指令跟随基准进行良性攻击两种场景下，均显著优于现有反学习方法。具体而言，Ssiuu能够更有效地擦除目标知识，降低模型被重新学习的风险，并且在保持模型性能方面表现出色。例如，在对抗注入场景下，Ssiuu将重新学习率降低了XX%，同时保持了YY%的模型性能。

🎯 应用场景

Ssiuu方法可应用于各种需要保护隐私或删除不当信息的语言模型场景，例如：删除模型中包含的个人身份信息、防止模型生成有害或偏见内容、以及应对模型被用于恶意目的的情况。该方法有助于提升语言模型的安全性和可靠性，促进其在各个领域的安全部署。

📄 摘要（原文）

Large language models trained on web-scale data can memorize private or sensitive knowledge, raising significant privacy risks. Although some unlearning methods mitigate these risks, they remain vulnerable to "relearning" during subsequent training, allowing a substantial portion of forgotten knowledge to resurface. In this paper, we show that widely used unlearning methods cause shallow alignment: instead of faithfully erasing target knowledge, they generate spurious unlearning neurons that amplify negative influence to hide it. To overcome this limitation, we introduce Ssiuu, a new class of unlearning methods that employs attribution-guided regularization to prevent spurious negative influence and faithfully remove target knowledge. Experimental results confirm that our method reliably erases target knowledge and outperforms strong baselines across two practical retraining scenarios: (1) adversarial injection of private data, and (2) benign attack using an instruction-following benchmark. Our findings highlight the necessity of robust and faithful unlearning methods for safe deployment of language models.