GROM: Gradient-Free Rapid One-Shot Machine Unlearning

📄 arXiv: 2608.05783v1 📥 PDF

作者: Paweł Batorski, Przemysław Spurek, Paul Swoboda

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-08-06

🔗 代码/项目: GITHUB

💡 一句话要点

提出GROM以解决机器遗忘效率低下问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器遗忘 一次性遗忘 岭回归 最小二乘优化 敏感知识移除 大型语言模型 高效算法

📋 核心要点

  1. 现有的机器遗忘方法依赖于迭代优化，计算开销大且效率低下。
  2. 本文提出了一种一次性遗忘方法，通过解析解直接更新权重，避免了迭代过程。
  3. GROM在多个数据集上表现出色，显著提升了遗忘效率，同时保持了模型性能。

📝 摘要（中文）

机器遗忘已成为安全移除大型语言模型中特定敏感知识的关键能力。现有方法主要依赖于迭代的训练时间遗忘，通过微调实现。然而，即使使用像LoRA这样的参数高效降维技术，基于梯度的优化仍然计算开销大，且缺乏明确的解析公式。更糟的是，这些方法可能仅仅隐藏目标知识，而非彻底移除。为此，本文提出了一种新颖的一次性遗忘方法，放弃迭代优化，采用直接的解析解。我们将遗忘过程框架化为一个带岭回归的最小二乘优化问题，推导出针对目标权重矩阵的闭式加法更新。该更新强制所选层抑制不必要的内容，同时严格保留对保留数据的行为。GROM在几秒内应用权重编辑，速度比传统微调快几个数量级。大量评估表明，GROM在多个数据集上实现了最先进的遗忘-效用权衡，显著降低计算开销而不牺牲整体模型性能。

🔬 方法详解

问题定义：本文解决的是如何高效地从大型语言模型中移除特定敏感知识的问题。现有方法依赖于迭代微调，计算成本高且可能仅隐藏而非彻底移除目标知识。

核心思路：论文的核心思路是将遗忘过程视为一个带岭回归的最小二乘优化问题，推导出闭式解来直接更新权重矩阵，从而实现一次性遗忘。这样的设计避免了梯度计算和迭代过程，显著提高了效率。

技术框架：整体架构包括三个主要模块：首先，定义遗忘目标；其次，利用解析解计算权重更新；最后，应用更新到模型中。整个流程不需要反向传播，直接从前向传播中计算。

关键创新：最重要的技术创新在于提出了一种无梯度的解析解方法，能够在几秒内完成权重更新，且有效移除目标内容，区别于传统的基于梯度的微调方法。

关键设计：关键设计包括岭回归的正则化参数设置，以及如何选择需要更新的权重矩阵。通过这种设计，GROM能够在保留模型对保留数据的行为的同时，抑制不必要的内容。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GROM在TOFU-5%、TOFU-10%、MUSE-Books、MUSE-News和WMDP等多个数据集上实现了最先进的遗忘-效用权衡，显著降低了计算开销，且在低比特量化攻击下表现出色，保持了对目标内容的有效移除。

🎯 应用场景

该研究的潜在应用领域包括需要处理敏感信息的自然语言处理任务，如医疗、金融和法律等领域。通过高效的机器遗忘能力，模型能够在保护用户隐私的同时，保持良好的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Machine unlearning has become a critical capability for safely removing specific, sensitive knowledge from large language models (LLMs). Current state-of-the-art approaches primarily rely on iterative, training-time unlearning via fine-tuning. However, even when utilizing parameter-efficient dimensionality reduction techniques like LoRA, gradient-based optimization remains computationally expensive and lacks explicit analytical formulations. It can also leave the targeted knowledge merely hidden rather than removed, to the point that simply quantizing the unlearned model restores much of what it was supposed to have erased. To resolve this, we propose a novel one-shot unlearning approach, abandoning iterative optimization in favor of a direct, exact analytical solution. We frame the unlearning process as a ridge-regularized least-squares optimization problem, deriving a closed-form additive update for targeted weight matrices. This update forces the selected layer to suppress unwanted content while strictly preserving its behavior on retained data. Computed from gradient-free forward passes alone, with no backpropagation and no iteration to convergence, GROM applies the weight edit in mere seconds, which makes it orders of magnitude faster than traditional fine-tuning. Extensive evaluations demonstrate that GROM achieves state-of-the-art forgetting-utility trade-offs on TOFU-5%, TOFU-10%, MUSE-Books, MUSE-News and WMDP, significantly reducing computational overhead without sacrificing overall model performance. Because the update removes the targeted content from the weights instead of masking it, GROM also withstands the low-bit quantization attack that recovers much of the content a gradient-based baseline had appeared to forget. Our code is publicly available at https://github.com/Batorskq/GROM.