Adaptive Localization of Knowledge Negation for Continual LLM Unlearning

📄 arXiv: 2611.02620v1 📥 PDF

作者: Abudukelimu Wuerkaixi, Qizhou Wang, Sen Cui, Wutong Xu, Bo Han, Gang Niu, Masashi Sugiyama, Changshui Zhang

分类: cs.LG

发布日期: 2026-11-02

备注: 24 pages. Published at ICML 2025. Code: https://github.com/zaocan666/ALKN

期刊: Proceedings of the 42nd International Conference on Machine Learning, PMLR 267:68094-68117, 2025

💡 一句话要点

提出自适应知识否定定位方法以解决持续LLM遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识遗忘 动态掩蔽 持续学习 模型效用 机器学习

📋 核心要点

  1. 现有的LLM遗忘方法在持续遗忘任务中面临效用显著下降的挑战，影响了其实际应用。
  2. 本文提出的ALKN方法通过动态掩蔽和自适应调整遗忘强度，有效地解决了知识遗忘与效用保持之间的矛盾。
  3. 在三个知名的LLM遗忘数据集上，ALKN方法在遗忘效果和效用保持方面均显著优于现有基线方法。

📝 摘要（中文）

随着大型语言模型（LLM）在各个领域的广泛应用，关于其安全性的担忧也日益增加。LLM遗忘成为移除有害或非法内容的重要方法，但持续遗忘的挑战仍未得到充分探索。连续的遗忘任务往往导致效用下降。为有效地遗忘特定知识而保持LLM的效用，必须通过选择性更新与目标知识相关的模型参数来最小化模型参数的变化。基于任务向量框架，本文提出了一种新方法ALKN（自适应知识否定定位），通过动态掩蔽来稀疏训练梯度，并根据任务间关系自适应调整遗忘强度。实验结果表明，该方法在持续遗忘设置下的遗忘效果和效用保持方面均优于基线方法。

🔬 方法详解

问题定义：本文旨在解决在持续LLM遗忘过程中，如何有效移除有害知识而不显著降低模型效用的问题。现有方法在处理连续遗忘任务时，往往导致模型效用的显著下降。

核心思路：ALKN方法的核心思路是通过动态掩蔽技术来稀疏训练梯度，并根据任务间的关系自适应调整遗忘的强度，从而在保持模型效用的同时，有效地移除目标知识。

技术框架：该方法基于任务向量框架，主要包括动态掩蔽、梯度稀疏化和遗忘强度调整三个模块。动态掩蔽用于选择性更新与目标知识相关的参数，梯度稀疏化则减少了不必要的参数更新。

关键创新：ALKN方法的创新之处在于其动态掩蔽和自适应遗忘强度调整机制，这与传统的静态更新方法形成了鲜明对比，能够更好地平衡知识遗忘与模型效用。

关键设计：在设计上，ALKN使用了特定的损失函数来引导模型在遗忘过程中保持其他知识的稳定，同时通过任务间关系的分析来动态调整遗忘强度，确保模型的高效性和稳定性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，ALKN方法在三个数据集上均优于基线方法，遗忘效果提升幅度达到20%以上，同时在效用保持方面也表现出色，确保了模型在遗忘特定知识后的实用性。

🎯 应用场景

该研究的潜在应用领域包括法律、医疗和社交媒体等需要处理敏感信息的场景。通过有效的知识遗忘机制，可以帮助企业和组织在遵循法规的同时，保持模型的实用性，减少法律风险。未来，该方法可能会推动更安全的AI系统的开发与应用。

📄 摘要（原文）

With the growing deployment of large language models (LLMs) across diverse domains, concerns regarding their safety have grown substantially. LLM unlearning has emerged as a pivotal approach to removing harmful or unlawful content while maintaining utility. Despite increasing interest, the challenges of continual unlearning, which is common in real-world scenarios, remain underexplored. Successive unlearning tasks often lead to intensified utility degradation. To effectively unlearn targeted knowledge while preserving LLM utility, it is essential to minimize changes in model parameters by selectively updating those linked to the target knowledge, thereby ensuring other knowledge remains unaffected. Building on the task vector framework, we propose a new method named ALKN (Adaptive Localization of Knowledge Negation), which uses dynamic masking to sparsify training gradients and adaptively adjusts unlearning intensity based on inter-task relationships. Comprehensive experiments across three well-established LLM unlearning datasets demonstrate that our approach consistently outperforms baseline methods in both unlearning effectiveness and utility retention under continual unlearning settings.