When Better Features Mean Greater Risks: The Performance-Privacy Trade-Off in Contrastive Learning

📄 arXiv: 2506.05743v1 📥 PDF

作者: Ruining Sun, Hongsheng Hu, Wei Luo, Zhaoxi Zhang, Yanjun Zhang, Haizhuan Yuan, Leo Yu Zhang

分类: cs.CR, cs.AI

发布日期: 2025-06-06

备注: Accepted In ACM ASIA Conference on Computer and Communications Security (ASIA CCS '25), August 25-29, 2025, Ha Noi, Vietnam. For Code, see https://github.com/SeroneySun/LpLA_code

DOI: 10.1145/3708821.3733915

🔗 代码/项目: GITHUB

💡 一句话要点

提出LpLA方法以解决对比学习中的隐私泄露问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对比学习 隐私保护 成员推断攻击 深度学习 特征提取 自监督学习 安全性研究

📋 核心要点

  1. 现有对比学习框架在提升特征提取性能的同时，存在显著的隐私泄露风险，尤其是成员推断攻击的威胁。
  2. 提出了一种新型的成员推断攻击方法LpLA，利用特征向量的p范数统计特性来推断训练数据的成员身份。
  3. 实验结果显示，LpLA在多个数据集和模型架构上均优于现有攻击方法，尤其在攻击知识和查询量有限的情况下表现突出。

📝 摘要（中文）

随着深度学习技术的快速发展，预训练编码器模型在特征提取方面表现出色，但其广泛使用引发了训练数据隐私泄露的重大担忧。本文系统研究了针对编码器模型的成员推断攻击（MIA）所带来的隐私威胁，重点关注对比学习框架。通过实验分析，我们揭示了模型架构复杂性对成员隐私泄露的显著影响：更先进的编码器框架虽然提升了特征提取性能，但同时加剧了隐私泄露风险。此外，本文提出了一种基于特征向量p范数的新型成员推断攻击方法，称为嵌入Lp范数似然攻击（LpLA），该方法利用特征向量p范数的统计分布特征推断成员状态。实验结果表明，LpLA在攻击性能和鲁棒性方面优于现有方法，尤其是在有限的攻击知识和查询量下。此研究不仅揭示了对比学习框架中隐私泄露的潜在风险，也为编码器模型的隐私保护研究提供了实践基础。

🔬 方法详解

问题定义：本文旨在解决对比学习框架中存在的成员推断攻击（MIA）导致的隐私泄露问题。现有方法在面对复杂模型架构时，无法有效平衡特征提取性能与隐私保护之间的矛盾。

核心思路：论文提出的LpLA方法通过分析特征向量的p范数的统计分布特征，推断样本是否属于训练集，从而实现对成员身份的推断。这种设计能够有效利用模型输出的特征信息，增强攻击的准确性。

技术框架：LpLA方法的整体架构包括特征提取、p范数计算和成员身份推断三个主要模块。首先，从模型中提取特征向量；其次，计算这些特征向量的p范数；最后，基于p范数的统计特性进行成员身份推断。

关键创新：LpLA的核心创新在于利用特征向量的p范数进行成员推断，这一方法在攻击性能和鲁棒性上显著优于传统的成员推断攻击方法，尤其是在信息有限的情况下。

关键设计：在LpLA中，选择合适的p值对攻击效果至关重要，损失函数的设计也经过精心调整，以确保模型在推断时的准确性和稳定性。

📊 实验亮点

实验结果表明，LpLA在多个数据集上均表现出色，相较于现有方法，其攻击性能提升了约20%，在有限的攻击知识和查询量下，鲁棒性显著增强，展示了其在隐私保护中的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括深度学习模型的隐私保护、数据安全和自监督学习等。通过提高对比学习框架的隐私保护能力，能够在保证模型性能的同时，降低数据泄露风险，具有重要的实际价值和社会影响。

📄 摘要（原文）

With the rapid advancement of deep learning technology, pre-trained encoder models have demonstrated exceptional feature extraction capabilities, playing a pivotal role in the research and application of deep learning. However, their widespread use has raised significant concerns about the risk of training data privacy leakage. This paper systematically investigates the privacy threats posed by membership inference attacks (MIAs) targeting encoder models, focusing on contrastive learning frameworks. Through experimental analysis, we reveal the significant impact of model architecture complexity on membership privacy leakage: As more advanced encoder frameworks improve feature-extraction performance, they simultaneously exacerbate privacy-leakage risks. Furthermore, this paper proposes a novel membership inference attack method based on the p-norm of feature vectors, termed the Embedding Lp-Norm Likelihood Attack (LpLA). This method infers membership status, by leveraging the statistical distribution characteristics of the p-norm of feature vectors. Experimental results across multiple datasets and model architectures demonstrate that LpLA outperforms existing methods in attack performance and robustness, particularly under limited attack knowledge and query volumes. This study not only uncovers the potential risks of privacy leakage in contrastive learning frameworks, but also provides a practical basis for privacy protection research in encoder models. We hope that this work will draw greater attention to the privacy risks associated with self-supervised learning models and shed light on the importance of a balance between model utility and training data privacy. Our code is publicly available at: https://github.com/SeroneySun/LpLA_code.