Effective Backdoor Mitigation in Vision-Language Models Depends on the Pre-training Objective

📄 arXiv: 2311.14948v4 📥 PDF

作者: Sahil Verma, Gantavya Bhatt, Avi Schwarzschild, Soumye Singhal, Arnav Mohanty Das, Chirag Shah, John P Dickerson, Pin-Yu Chen, Jeff Bilmes

分类: cs.LG, cs.AI, cs.CV

发布日期: 2023-11-25 (更新: 2025-01-11)

备注: Accepted at TMLR (https://openreview.net/forum?id=Conma3qnaT)

💡 一句话要点

提出基于预训练目标的有效后门攻击缓解方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后门攻击 多模态模型 预训练目标 CleanCLIP 机器学习安全 对抗性攻击 模型训练

📋 核心要点

  1. 现有多模态模型在面对后门攻击时表现出脆弱性，尤其是在使用大规模网络数据集时，后门风险更为突出。
  2. 本文提出的核心思想是探讨预训练目标对后门攻击缓解效果的影响，强调选择合适的预训练目标的重要性。
  3. 实验结果显示，使用强预训练目标的模型在后门去除上效果不佳，CleanCLIP在此情况下表现不理想，提示模型训练中的潜在风险。

📝 摘要（中文）

尽管现代机器学习模型具备先进能力，但仍然容易受到对抗性和后门攻击的威胁。尤其是在真实场景中，受损模型可能在关键情况下表现出不可预测的行为。本文研究了CleanCLIP在缓解多模态模型后门攻击中的有效性，发现其效果高度依赖于模型预训练时使用的具体目标。通过在两个大规模数据集上训练多模态模型，结果表明，使用更强的预训练目标会导致更难去除的后门行为，强调了在使用大规模网络数据训练模型时需考虑的关键因素。

🔬 方法详解

问题定义：本文旨在解决多模态模型在面对后门攻击时的脆弱性，现有方法如CleanCLIP在强预训练目标下的效果不佳是主要痛点。

核心思路：论文通过分析预训练目标的强度与后门攻击去除效果之间的关系，提出在选择预训练目标时需谨慎，以降低后门风险。

技术框架：研究采用了两个大规模数据集（CC3M和CC6M），在不同预训练目标下训练多模态模型，随后使用CleanCLIP进行后门去除。

关键创新：最重要的创新在于揭示了预训练目标的强度与后门行为去除难度之间的相关性，强调了模型训练过程中的潜在风险。

关键设计：在实验中，进行了广泛的超参数调优，发现即使在优化条件下，强预训练目标下的CleanCLIP也难以有效去除后门。具体的参数设置和损失函数设计在论文中进行了详细讨论。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CleanCLIP在强预训练目标下的后门去除效果显著下降，尤其是在使用3百万和6百万数据点的训练中，后门行为更难以去除。这一发现强调了预训练目标选择的重要性，为后续研究提供了新的方向。

🎯 应用场景

该研究的潜在应用领域包括安全敏感的多模态系统，如自动驾驶、医疗影像分析和金融监控等。通过提高模型对后门攻击的抵抗力，可以增强这些系统在真实环境中的可靠性和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Despite the advanced capabilities of contemporary machine learning (ML) models, they remain vulnerable to adversarial and backdoor attacks. This vulnerability is particularly concerning in real-world deployments, where compromised models may exhibit unpredictable behavior in critical scenarios. Such risks are heightened by the prevalent practice of collecting massive, internet-sourced datasets for training multimodal models, as these datasets may harbor backdoors. Various techniques have been proposed to mitigate the effects of backdooring in multimodal models, such as CleanCLIP, which is the current state-of-the-art approach. In this work, we demonstrate that the efficacy of CleanCLIP in mitigating backdoors is highly dependent on the particular objective used during model pre-training. We observe that stronger pre-training objectives that lead to higher zero-shot classification performance correlate with harder to remove backdoors behaviors. We show this by training multimodal models on two large datasets consisting of 3 million (CC3M) and 6 million (CC6M) datapoints, under various pre-training objectives, followed by poison removal using CleanCLIP. We find that CleanCLIP, even with extensive hyperparameter tuning, is ineffective in poison removal when stronger pre-training objectives are used. Our findings underscore critical considerations for ML practitioners who train models using large-scale web-curated data and are concerned about potential backdoor threats.