CoUn: Empowering Machine Unlearning via Contrastive Learning

📄 arXiv: 2509.16391v2 📥 PDF

作者: Yasser H. Khalil, Mehdi Setayesh, Hongliang Li

分类: cs.LG, cs.AI, cs.CV

发布日期: 2025-09-19 (更新: 2025-10-17)

💡 一句话要点

CoUn：通过对比学习增强机器学习的不可学习性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器学习不可学习性 对比学习 数据隐私 模型微调 表示学习

📋 核心要点

  1. 现有机器学习不可学习方法在移除特定数据影响方面效果有限，无法有效“遗忘”。
  2. CoUn通过对比学习调整数据表示，模拟仅用保留数据训练的模型行为，实现有效遗忘。
  3. 实验表明，CoUn在多种数据集和模型上优于现有方法，且可增强现有方法的不可学习性。

📝 摘要（中文）

机器学习不可学习性（MU）旨在从已训练模型中移除特定“遗忘”数据的影响，同时保留其对剩余“保留”数据的知识。现有的基于标签操作或模型权重扰动的MU方法通常在不可学习性方面效果有限。为了解决这个问题，我们引入了CoUn，这是一个新颖的MU框架，其灵感来自于一个观察：仅使用保留数据从头开始重新训练的模型会根据遗忘数据与保留数据的语义相似性对其进行分类。CoUn通过对比学习（CL）和监督学习来调整学习到的数据表示来模拟这种行为，这些学习仅应用于保留数据。具体来说，CoUn（1）利用数据样本之间的语义相似性，使用CL间接调整遗忘表示，以及（2）通过监督学习将保留表示保持在其各自的簇中。在各种数据集和模型架构上的大量实验表明，CoUn在不可学习性方面始终优于最先进的MU基线。此外，将我们的CL模块集成到现有基线中可以增强其不可学习性。

🔬 方法详解

问题定义：论文旨在解决机器学习不可学习性（MU）问题，即如何从已训练模型中移除特定“遗忘”数据的影响，同时保留模型对“保留”数据的知识。现有方法，如基于标签操作或模型权重扰动的方法，在实现有效的不可学习性方面存在局限性，无法彻底消除遗忘数据的影响。

核心思路：CoUn的核心思路是模拟仅使用保留数据从头训练模型时的行为。观察表明，在这种情况下，模型会根据遗忘数据与保留数据的语义相似性来对其进行分类。CoUn通过调整数据表示，使得模型对遗忘数据的分类更接近于仅用保留数据训练的结果，从而实现不可学习性。

技术框架：CoUn框架主要包含两个模块：对比学习（CL）模块和监督学习模块。这两个模块都只应用于保留数据。CL模块利用数据样本之间的语义相似性，间接调整遗忘数据的表示，使得遗忘数据远离保留数据的簇。监督学习模块则用于维持保留数据在其各自簇中的位置，防止模型遗忘保留数据的知识。整体流程是，首先使用原始数据训练一个初始模型，然后使用CoUn框架对模型进行微调，以实现不可学习性。

关键创新：CoUn的关键创新在于利用对比学习来间接影响遗忘数据的表示。与直接修改遗忘数据或模型权重的方法不同，CoUn通过调整保留数据的表示，使得模型对遗忘数据的分类发生改变，从而实现不可学习性。这种方法避免了直接操作遗忘数据可能带来的风险，并且更加高效。

关键设计：CoUn的关键设计包括：1）对比学习损失函数的设计，用于衡量保留数据之间的语义相似性，并促使模型将相似的保留数据聚集在一起；2）监督学习损失函数的设计，用于维持保留数据在其各自簇中的位置；3）如何选择合适的对比学习样本，以确保能够有效地调整遗忘数据的表示。具体的损失函数和网络结构选择取决于具体的应用场景和数据集。

📊 实验亮点

实验结果表明，CoUn在多个数据集和模型架构上均优于现有的不可学习性基线方法。具体而言，CoUn在不可学习性指标上取得了显著提升，同时保持了模型在保留数据上的性能。此外，将CoUn的对比学习模块集成到现有基线方法中，也能有效提升其不可学习性效果。

🎯 应用场景

CoUn在需要保护用户隐私的场景中具有广泛的应用前景，例如联邦学习、在线广告推荐、医疗诊断等。通过CoUn，可以安全地移除用户不再希望被模型使用的数据，同时保证模型在其他数据上的性能。该研究有助于构建更加安全、可靠和负责任的机器学习系统，提升用户对AI系统的信任度。

📄 摘要（原文）

Machine unlearning (MU) aims to remove the influence of specific "forget" data from a trained model while preserving its knowledge of the remaining "retain" data. Existing MU methods based on label manipulation or model weight perturbations often achieve limited unlearning effectiveness. To address this, we introduce CoUn, a novel MU framework inspired by the observation that a model retrained from scratch using only retain data classifies forget data based on their semantic similarity to the retain data. CoUn emulates this behavior by adjusting learned data representations through contrastive learning (CL) and supervised learning, applied exclusively to retain data. Specifically, CoUn (1) leverages semantic similarity between data samples to indirectly adjust forget representations using CL, and (2) maintains retain representations within their respective clusters through supervised learning. Extensive experiments across various datasets and model architectures show that CoUn consistently outperforms state-of-the-art MU baselines in unlearning effectiveness. Additionally, integrating our CL module into existing baselines empowers their unlearning effectiveness.