Mudjacking: Patching Backdoor Vulnerabilities in Foundation Models

📄 arXiv: 2402.14977v1 📥 PDF

作者: Hongbin Liu, Michael K. Reiter, Neil Zhenqiang Gong

分类: cs.CR, cs.CV, cs.LG

发布日期: 2024-02-22

备注: To appear in USENIX Security Symposium, 2024

💡 一句话要点

提出Mudjacking以解决基础模型后门漏洞问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基础模型 后门攻击 模型修复 优化算法 安全性 人工智能 深度学习

📋 核心要点

  1. 基础模型在AI应用中广泛使用，但其后门漏洞使得多个下游模型面临安全风险。
  2. Mudjacking方法通过优化基础模型参数，针对已部署的后门模型进行修复，提供了一种有效的解决方案。
  3. 实验结果显示，Mudjacking在多个基准数据集上成功去除了后门，同时保持了模型的性能和效用。

📝 摘要（中文）

基础模型已成为AI生态系统的核心，然而其易受后门攻击，导致多个下游分类器同时继承后门漏洞。本文提出Mudjacking，首个针对基础模型的后门修复方法。Mudjacking通过优化算法调整基础模型参数，去除后门。我们在视觉和语言基础模型上进行了评估，结果表明Mudjacking能够有效去除后门，同时保持模型的实用性。

🔬 方法详解

问题定义：本文旨在解决基础模型中的后门漏洞问题，现有方法无法有效修复已部署的后门模型，导致安全隐患。

核心思路：Mudjacking通过将后门修复问题转化为优化问题，利用梯度下降法调整模型参数，从而去除后门。此设计旨在在不显著损害模型性能的情况下，确保后门被有效去除。

技术框架：Mudjacking的整体流程包括：首先检测到嵌入触发器的误分类输入，然后通过优化算法调整基础模型的参数，最终实现后门的去除。主要模块包括输入检测、参数优化和模型评估。

关键创新：Mudjacking的主要创新在于首次提出了针对基础模型的后门修复方法，解决了现有方法无法修复已部署后门的局限性。

关键设计：在实现过程中，Mudjacking采用了特定的损失函数来衡量模型性能与后门去除的平衡，同时在参数设置上进行了细致调整，以确保修复过程的有效性与稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Mudjacking在处理五种现有后门攻击和十三种自适应后门攻击时，成功去除了后门，同时在多个基准数据集上保持了模型的实用性，证明了其有效性和可靠性。

🎯 应用场景

Mudjacking的研究成果在多个领域具有广泛的应用潜力，尤其是在安全敏感的AI应用中，如金融、医疗和自动驾驶等。通过有效修复后门漏洞，Mudjacking能够提升基础模型的安全性，减少潜在的攻击风险，促进AI技术的可信赖发展。

📄 摘要（原文）

Foundation model has become the backbone of the AI ecosystem. In particular, a foundation model can be used as a general-purpose feature extractor to build various downstream classifiers. However, foundation models are vulnerable to backdoor attacks and a backdoored foundation model is a single-point-of-failure of the AI ecosystem, e.g., multiple downstream classifiers inherit the backdoor vulnerabilities simultaneously. In this work, we propose Mudjacking, the first method to patch foundation models to remove backdoors. Specifically, given a misclassified trigger-embedded input detected after a backdoored foundation model is deployed, Mudjacking adjusts the parameters of the foundation model to remove the backdoor. We formulate patching a foundation model as an optimization problem and propose a gradient descent based method to solve it. We evaluate Mudjacking on both vision and language foundation models, eleven benchmark datasets, five existing backdoor attacks, and thirteen adaptive backdoor attacks. Our results show that Mudjacking can remove backdoor from a foundation model while maintaining its utility.