Robust Defense Strategies for Multimodal Contrastive Learning: Efficient Fine-tuning Against Backdoor Attacks

📄 arXiv: 2511.13545v1 📥 PDF

作者: Md. Iqbal Hossain, Afia Sajeeda, Neeresh Kumar Perla, Ming Shao

分类: cs.CV, cs.AI

发布日期: 2025-11-17

💡 一句话要点

提出一种高效微调策略，增强多模态对比学习模型抵抗后门攻击的鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多模态学习 对比学习 后门攻击 对抗防御 模型鲁棒性

📋 核心要点

  1. 多模态模型易受后门攻击，现有防御方法计算成本高，且难以定位受影响的标签。
  2. 利用图像分割“oracle”作为监督，区分CLIP和oracle的知识，定位后门触发器和受影响的样本。
  3. 通过精确定位受影响的标签和样本，构建小型微调数据集，有效纠正被污染的CLIP模型。

📝 摘要（中文）

多模态深度学习模型，如CLIP，在图像-文本理解和分类任务等领域取得了显著进展。然而，这些模型容易受到对抗性攻击，特别是后门攻击，这种攻击会微妙地操纵模型行为。现有的防御方法通常需要从头开始训练或使用大型数据集进行微调，而无法精确定位受影响的标签。本研究提出了一种创新策略，以增强多模态对比学习模型抵抗此类攻击的鲁棒性。具体而言，对于一个被污染的CLIP模型，我们的方法能够高效地识别后门触发器并精确定位受害者样本和标签。为此，引入了一个图像分割“oracle”作为被污染CLIP输出的监督。我们开发了两种算法来纠正被污染的模型：（1）区分CLIP和Oracle的知识以识别潜在的触发器；（2）精确定位受影响的标签和受害者样本，并策划一个紧凑的微调数据集。有了这些知识，我们就可以纠正被污染的CLIP模型，消除后门效应。在视觉识别基准上的大量实验表明，我们的策略在基于CLIP的后门防御中是有效的。

🔬 方法详解

问题定义：论文旨在解决多模态对比学习模型（如CLIP）在后门攻击下的脆弱性问题。现有的防御方法通常需要从头开始训练模型或使用大量数据进行微调，这不仅计算成本高昂，而且难以精确定位受到攻击影响的特定标签和样本，导致防御效率低下。

核心思路：论文的核心思路是利用一个图像分割“oracle”作为监督信号，通过比较被污染的CLIP模型和oracle的输出来识别潜在的后门触发器。然后，基于识别出的触发器，精确定位受到后门攻击影响的标签和样本。最后，使用这些精确定位的样本构建一个小型、高效的微调数据集，以纠正被污染的CLIP模型。

技术框架：该方法主要包含以下几个阶段：1) 触发器识别：利用图像分割oracle，通过比较CLIP模型和oracle的输出来识别潜在的后门触发器。2) 受害者样本和标签定位：基于识别出的触发器，精确定位受到后门攻击影响的标签和样本。3) 数据集构建：使用精确定位的受害者样本和标签，构建一个小型、高效的微调数据集。4) 模型纠正：使用构建的微调数据集对被污染的CLIP模型进行微调，以消除后门效应。

关键创新：该方法最重要的创新点在于引入了图像分割“oracle”作为监督信号，并利用该oracle来指导后门触发器的识别和受害者样本的定位。与现有方法相比，该方法能够更精确地定位受影响的样本和标签，从而实现更高效的后门防御。

关键设计：关键设计包括：1) Oracle的选择：选择合适的图像分割模型作为oracle，保证其分割性能优良且与CLIP模型具有一定的互补性。2) 触发器识别算法：设计有效的算法来比较CLIP模型和oracle的输出，从而准确识别后门触发器。3) 微调数据集构建策略：设计合理的策略来选择受害者样本，并平衡微调数据集的类别分布，以提高微调效果。

📊 实验亮点

论文在视觉识别基准上进行了大量实验，证明了所提出的策略在基于CLIP的后门防御中是有效的。具体性能数据未知，但摘要强调该方法能够高效地识别后门触发器并精确定位受害者样本和标签，从而实现有效的模型纠正，优于需要从头训练或使用大型数据集微调的现有方法。

🎯 应用场景

该研究成果可应用于各种依赖多模态对比学习模型的应用场景，例如图像检索、零样本分类、视觉问答等。通过提高模型抵抗后门攻击的鲁棒性，可以增强这些应用的安全性和可靠性，防止恶意攻击者利用后门漏洞操纵模型行为，造成潜在的危害。该研究对于推动多模态深度学习模型的安全应用具有重要意义。

📄 摘要（原文）

The advent of multimodal deep learning models, such as CLIP, has unlocked new frontiers in a wide range of applications, from image-text understanding to classification tasks. However, these models are not safe for adversarial attacks, particularly backdoor attacks, which can subtly manipulate model behavior. Moreover, existing defense methods typically involve training from scratch or fine-tuning using a large dataset without pinpointing the specific labels that are affected. In this study, we introduce an innovative strategy to enhance the robustness of multimodal contrastive learning models against such attacks. In particular, given a poisoned CLIP model, our approach can identify the backdoor trigger and pinpoint the victim samples and labels in an efficient manner. To that end, an image segmentation ``oracle'' is introduced as the supervisor for the output of the poisoned CLIP. We develop two algorithms to rectify the poisoned model: (1) differentiating between CLIP and Oracle's knowledge to identify potential triggers; (2) pinpointing affected labels and victim samples, and curating a compact fine-tuning dataset. With this knowledge, we are allowed to rectify the poisoned CLIP model to negate backdoor effects. Extensive experiments on visual recognition benchmarks demonstrate our strategy is effective in CLIP-based backdoor defense.