Beyond Binary Rewards: A Comparative Study of Reward Design for Reinforcement Unlearning
作者: Efstratios Zaradoukas, Davide Gabrielli, Bardh Prenkaj, Gjergji Kasneci
分类: cs.LG
发布日期: 2026-07-30
备注: Accepted to WIPE-OUT 2 @ ECML-PKDD 2026
💡 一句话要点
提出奖励设计框架以提升强化学习去学习效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器去学习 强化学习 奖励设计 隐私保护 模型优化
📋 核心要点
- 现有的去学习方法依赖稀疏的二元奖励，导致学习信号不足，限制了模型的收敛速度。
- 本文提出了一种新的奖励设计框架，解耦可验证性与稀疏性，并引入两种新型奖励函数以提升去学习效率。
- 实验结果显示，新的奖励函数在去学习效率上显著优于传统的二元奖励，且速度提升可达3倍，保持了模型的整体效用。
📝 摘要（中文）
机器去学习旨在在不进行完全重训练的情况下，选择性地从训练好的语言模型中移除特定知识，这在隐私法规如GDPR和欧盟AI法案下愈发重要。近期研究将去学习重新构建为可验证奖励的强化学习问题，但现有方法依赖稀疏的二元奖励，提供的学习信号有限，限制了收敛速度。本文研究奖励设计如何影响去学习效率，提出了一种原则性的奖励分解框架，解耦了可验证性与稀疏性，并提出了两种新的奖励函数：基于禁忌概念出现次数的指数奖励和基于语义重要性的PageRank启发式奖励。实验结果表明，这两种奖励在去学习效率上显著优于二元设置，且在保持模型实用性的同时，达到相似的遗忘性能，速度提升可达3倍。
🔬 方法详解
问题定义：本文旨在解决现有强化学习去学习方法中，稀疏二元奖励导致的学习信号不足和收敛速度慢的问题。
核心思路：通过引入一种新的奖励设计框架，解耦可验证性与稀疏性，提出基于禁忌概念出现次数的指数奖励和基于语义重要性的PageRank启发式奖励，以增强学习信号。
技术框架：整体架构包括奖励设计模块、模型优化模块和验证模块。奖励设计模块负责计算新的奖励信号，模型优化模块根据奖励信号更新模型参数，验证模块确保模型输出的可验证性。
关键创新：最重要的技术创新在于提出了两种新的奖励函数，分别是指数奖励和PageRank启发式奖励，这与传统的二元奖励方法本质上不同，能够提供更丰富的学习信号。
关键设计：在奖励函数设计中，指数奖励根据禁忌概念的出现次数给予逐级惩罚，而PageRank奖励则根据语义重要性加权惩罚，确保模型在去学习时能够更有效地识别和处理重要信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的指数奖励和PageRank奖励在去学习效率上均显著优于传统的二元奖励设置，速度提升可达3倍，同时在遗忘性能上保持相似水平，展示了奖励设计对去学习效率的关键影响。
🎯 应用场景
该研究的潜在应用领域包括隐私保护、合规性要求下的机器学习模型管理，以及需要动态更新知识的智能系统。通过提升去学习效率，能够更好地满足GDPR等法规的要求，保护用户隐私，同时保持模型的实用性和性能。
📄 摘要（原文）
Machine unlearning seeks to selectively remove specific knowledge from trained language models without full retraining, a growing necessity under privacy regulations such as GDPR and the EU AI Act. Recent work has reformulated unlearning as a Reinforcement Learning with Verifiable Rewards (RLVR) problem, where models are optimized against verifiable rewards computed directly from their outputs. However, existing methods rely on sparse binary rewards that provide minimal learning signal, indicating only whether forbidden content was avoided, and limiting convergence speed. In this paper, we study how reward design affects unlearning efficiency within the Reinforcement Unlearning (RUL) framework. We introduce a principled reward decomposition framework that decouples verifiability from sparsity, and propose two new reward functions: an exponential reward that provides graded penalties based on the count of forbidden-concept occurrences, and a PageRank inspired reward that weights penalties by semantic importance. We conduct experiments on the Real World Knowledge Unlearning (RWKU) benchmark, demonstrating that both rewards consistently outperform the binary setting, while reaching similar forgetting performance up to $3\times$ faster and preserving general model utility. Our results show that reward design is a key driver of unlearning efficiency offering a practical path toward scalable and efficient machine unlearning.