Auditing Machine Unlearning: A Systematic Research on Whether Models Truly Forget
作者: Dayong Ye, Tianqing Zhu, Ruiding Huang, Xinbo Fu, Jiayang Li, Bo Liu, Huan Huo, Wanlei Zhou
分类: cs.LG
发布日期: 2026-06-15
💡 一句话要点
提出实用审计框架以解决机器遗忘算法的有效性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器遗忘 隐私保护 审计框架 算法有效性 数据安全 模型评估 合规性
📋 核心要点
- 现有的机器遗忘算法缺乏有效的审计机制，导致无法验证是否真正消除了特定数据的影响。
- 本文提出了一个基于无知证明的实用审计框架，旨在解决现有方法的实用性限制，避免重训练和影子模型的需求。
- 实验结果显示，该框架能够有效区分成功与失败的遗忘，尤其是重训练和微调方法在目标数据仍存在时也能实现有效遗忘。
📝 摘要（中文）
机器遗忘在应对隐私问题和法规要求方面得到了广泛研究。然而，审计遗忘算法是否真正消除了特定数据的影响仍然是一个开放挑战。缺乏可靠的审计机制可能导致隐私风险，如信息泄露。本文系统性探讨现有遗忘算法的有效性，提出首个实用的通用审计框架，灵感来自于无知证明的概念。该框架解决了现有方法的实用性限制，无需从头开始重训练基线，避免训练大量影子模型，并且不干扰原始训练过程。通过在六个数据集和十种代表性遗忘方法上的全面实验，结果表明该框架能够可靠地区分成功与失败的遗忘。
🔬 方法详解
问题定义：本文旨在解决机器遗忘算法的有效性审计问题，现有方法在验证遗忘效果时存在诸多不足，尤其是无法可靠地判断特定数据是否被真正遗忘。
核心思路：论文提出的审计框架基于无知证明的概念，设计上避免了重训练和影子模型的复杂性，旨在提供一种简单而有效的验证手段。
技术框架：整体框架包括数据验证模块、模型评估模块和结果分析模块。首先，通过数据验证模块确认目标数据的存在性，然后在模型评估模块中进行遗忘效果的测试，最后通过结果分析模块提供详细的审计报告。
关键创新：最重要的创新在于提出了无需重训练的审计方法，能够在不干扰原始训练过程的情况下，验证遗忘算法的有效性，这与现有方法的依赖重训练形成鲜明对比。
关键设计：框架中关键参数包括数据验证的阈值设置和模型评估的标准，采用了多种损失函数来评估遗忘效果，确保审计结果的准确性和可靠性。实验中还考虑了不同类型的遗忘方法的适用性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的审计框架能够可靠地区分成功与失败的遗忘，尤其是重训练和微调方法在目标数据仍存在时也能实现有效遗忘。相比之下，去优化方法未能实现真正的遗忘，且在某些情况下导致模型性能下降。该框架在面对虚假遗忘尝试时表现出良好的鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括数据隐私保护、合规性审计和机器学习模型的安全性评估。随着对数据隐私的关注增加，能够有效验证机器遗忘算法的工具将对企业和研究机构具有重要价值，帮助其满足法规要求并降低隐私风险。
📄 摘要（原文）
Machine unlearning has been extensively studied in response to growing privacy concerns and regulatory requirements. However, auditing whether unlearning algorithms have truly erased the influence of specific data remains an open challenge. The lack of reliable and practical auditing mechanisms can lead to critical privacy risks, such as residual information leakage. This paper initiates a systematic investigation into whether existing unlearning algorithms can truly forget the designated data. We propose the first practical and general-purpose auditing framework for machine unlearning, inspired by the concept of proof of ignorance. Our framework addresses the key practicality limitations of existing methods by eliminating the need for retraining-from-scratch baselines, avoiding the training of large numbers of shadow models, and requiring no intrusive intervention in the original training process. To evaluate the effectiveness of our framework, we first conduct validation experiments to verify its soundness and completeness. We then perform comprehensive experiments across six datasets and ten representative unlearning methods. The results demonstrate that our framework reliably distinguishes between successful and failed unlearning. In particular, we observe that retraining-based and fine-tuning-based methods can achieve effective unlearning, even when the target data remain in the original dataset. In contrast, de-optimization-based methods fail to achieve true unlearning and instead degrade the model's performance. Fisher/Hessian-based methods also fail to unlearn requested data, even formal certification is provided. Moreover, we show that our framework is robust against fake unlearning attempts and generalizes well to large language models.