How to Craft Backdoors with Unlabeled Data Alone?
作者: Yifei Wang, Wenhan Ma, Stefanie Jegelka, Yisen Wang
分类: cs.LG, cs.AI, cs.CR
发布日期: 2024-04-10 (更新: 2024-04-22)
备注: Accepted at ICLR 2024 Workshop on Navigating and Addressing Data Problems for Foundation Models (DPFM)
🔗 代码/项目: GITHUB
💡 一句话要点
提出无标签后门攻击方法以解决自监督学习的安全隐患
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自监督学习 后门攻击 无标签数据 毒性样本选择 安全性评估
📋 核心要点
- 现有的后门攻击方法通常依赖大量标签数据，而在自监督学习中，这些标签数据可能不可用，导致安全隐患。
- 本文提出了无标签后门攻击的概念，探索如何在没有标签信息的情况下选择合适的毒性样本。
- 实验结果显示，所提无标签后门方法在多种自监督学习方法上表现出色，显著提高了攻击效果。
📝 摘要（中文）
自监督学习（SSL）依赖于无标签数据以经济和可扩展的方式学习丰富特征。随着SSL在基础模型构建中的广泛应用，安全问题也日益突出，其中后门攻击是主要威胁之一。现有的后门攻击方法通常需要大量标签数据，而在SSL中，这些标签数据可能不可用。本文探讨了仅依赖无标签数据的后门攻击，提出了两种选择毒性样本的策略：基于聚类的伪标签选择和基于互信息原则的对比选择。实验结果表明，这两种无标签后门方法在CIFAR-10和ImageNet-100数据集上有效，并显著优于随机毒化方法。
🔬 方法详解
问题定义：本文旨在解决自监督学习中后门攻击的安全隐患，现有方法依赖于大量标签数据，而在无标签数据的情况下，如何有效选择毒性样本成为主要挑战。
核心思路：论文提出了无标签后门攻击的概念，探索了两种毒性样本选择策略：基于聚类的伪标签选择和基于互信息的对比选择，以克服标签缺失的问题。
技术框架：整体流程包括数据预处理、毒性样本选择和后门模型训练。首先对无标签数据进行聚类或对比分析，然后根据选择的毒性样本训练后门模型。
关键创新：最重要的创新在于提出了无标签后门攻击的框架，利用无标签数据进行有效的毒性样本选择，与传统方法依赖标签数据的方式形成鲜明对比。
关键设计：在聚类选择中，使用伪标签进行样本分组；在对比选择中，利用互信息原则来评估样本的毒性潜力。实验中对参数设置进行了优化，以确保选择的毒性样本能够有效影响后门模型的行为。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的无标签后门方法在CIFAR-10和ImageNet-100数据集上均表现出色，攻击效果显著优于随机毒化方法，提升幅度达到XX%（具体数据待补充）。
🎯 应用场景
该研究的潜在应用领域包括自监督学习模型的安全性评估和增强，尤其是在需要处理无标签数据的场景中。通过识别和防范后门攻击，可以提高模型在实际应用中的可靠性和安全性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Relying only on unlabeled data, Self-supervised learning (SSL) can learn rich features in an economical and scalable way. As the drive-horse for building foundation models, SSL has received a lot of attention recently with wide applications, which also raises security concerns where backdoor attack is a major type of threat: if the released dataset is maliciously poisoned, backdoored SSL models can behave badly when triggers are injected to test samples. The goal of this work is to investigate this potential risk. We notice that existing backdoors all require a considerable amount of \emph{labeled} data that may not be available for SSL. To circumvent this limitation, we explore a more restrictive setting called no-label backdoors, where we only have access to the unlabeled data alone, where the key challenge is how to select the proper poison set without using label information. We propose two strategies for poison selection: clustering-based selection using pseudolabels, and contrastive selection derived from the mutual information principle. Experiments on CIFAR-10 and ImageNet-100 show that both no-label backdoors are effective on many SSL methods and outperform random poisoning by a large margin. Code will be available at https://github.com/PKU-ML/nlb.