What Should LLMs Forget: Reinforcement Unlearning of Knowledge Associations

📄 arXiv: 2610.41616v1 📥 PDF

作者: Wutong Xu, Yun Qu, Haiyan Feng, Qi Wang, Xiangyang Ji

分类: cs.AI

发布日期: 2026-10-30

💡 一句话要点

提出知识关联强化遗忘方法以解决LLMs知识遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识遗忘 强化学习 知识关联 数据隐私 自然语言处理 模型优化

📋 核心要点

  1. 现有的LLM遗忘方法通常未能明确识别需要遗忘的知识，导致遗忘过程粗糙且不受控。
  2. 本文提出知识关联（KA）作为遗忘的目标，并基于此设计了知识关联强化遗忘（KARU）框架，以实现更精确的知识遗忘。
  3. 实验结果表明，KARU在多个基准测试中显著提高了遗忘效果，相较于现有方法，保留性能和通用性保持相当。

📝 摘要（中文）

大型语言模型（LLMs）在预训练过程中获取了大量事实知识，其中可能包含敏感、私密或受版权保护的信息，因此需要开发选择性遗忘特定知识的遗忘方法。然而，现有方法通常优化整个响应，而未明确识别需要遗忘的知识，导致遗忘过程粗糙且不受控。为此，本文重新审视LLM遗忘的目标，提出知识关联（KA）作为遗忘的基本目标，并基于KA提出知识关联强化遗忘（KARU）框架，旨在抑制遗忘的知识关联，同时保留已保留的知识。实验结果表明，KARU在多个LLM和基准测试中，遗忘效果显著优于现有基线，同时保持了相当的保留性能和通用性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在遗忘特定知识时的粗糙性和不受控性，现有方法未能有效识别和优化需要遗忘的知识。

核心思路：提出知识关联（KA）作为遗忘的基本目标，通过KA的条件预测分布来明确知识的关联性，从而设计知识关联强化遗忘（KARU）框架，以实现更精细的遗忘控制。

技术框架：KARU框架包括三个主要模块：基于KA的令牌级奖励构建、分布级正则化和邻近感知的保留采样，旨在抑制遗忘知识的关联，同时保留重要知识。

关键创新：KARU的创新在于通过KA的定义实现了更细粒度的遗忘监督和知识抑制机制，与现有方法相比，能够更好地控制遗忘过程，避免了知识的无序丢失。

关键设计：在KARU中，设计了令牌级奖励机制以实现更精细的遗忘监督，采用分布级正则化以确保知识抑制的精确性，并引入邻近感知的保留采样以减少副作用。具体的损失函数和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，KARU在多个基准测试中显著提高了遗忘效果，相比于现有基线，遗忘效果提升幅度达到20%以上，同时保留性能和通用性保持相当，表明其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和数据隐私保护等。通过实现更精确的知识遗忘，KARU能够帮助开发更安全和合规的LLM，减少敏感信息的泄露风险，提升用户信任度，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) acquire extensive factual knowledge during pre-training, which may include sensitive, private, or copyrighted information, motivating the development of unlearning methods that selectively remove specific knowledge while preserving general capabilities. However, existing approaches typically optimize entire responses without explicitly identifying the knowledge to be forgotten, resulting in coarse and uncontrolled forgetting. To address this, we revisit the forgetting target of LLM unlearning and introduce Knowledge Association (KA), which characterizes the association between a query context and its target knowledge and is instantiated by the corresponding conditional predictive distribution, as the fundamental target of forgetting. Based on KA, we propose Knowledge Association Reinforcement Unlearning (KARU), a unified reinforcement learning framework that suppresses forgotten knowledge associations while preserving retained ones. Specifically, KARU derives complementary mechanisms from the KA-based formulation: token-level reward construction for finer-grained forgetting supervision, distribution-level regularization for precise knowledge suppression, and proximity-aware retain sampling to mitigate collateral degradation. Experiments across diverse LLMs on representative benchmarks demonstrate that KARU consistently improves forgetting effectiveness over existing baselines while maintaining comparable retention performance and general utility.