FMM-Attack: A Flow-based Multi-modal Adversarial Attack on Video-based LLMs

📄 arXiv: 2403.13507v2 📥 PDF

作者: Jinmin Li, Kuofeng Gao, Yang Bai, Jingyun Zhang, Shu-tao Xia, Yisen Wang

分类: cs.CV

发布日期: 2024-03-20 (更新: 2024-03-21)

🔗 代码/项目: GITHUB

💡 一句话要点

提出FMM-Attack以解决视频基础LLMs的对抗攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频基础LLMs 对抗攻击 多模态学习 流模型 安全性研究

📋 核心要点

  1. 现有视频基础LLMs在对抗攻击方面的脆弱性尚未被充分研究，缺乏有效的防护措施。
  2. FMM-Attack通过在视频的少量帧上施加流基的多模态对抗扰动，专门设计用于攻击视频基础LLMs。
  3. 实验结果显示，FMM-Attack能够有效诱导模型生成错误答案，并导致输出混淆，提升了对抗攻击的有效性。

📝 摘要（中文）

尽管视频基础的大型语言模型（LLMs）表现出色，但其对抗威胁尚未被探索。为填补这一空白，本文提出了首个针对视频基础LLMs的对抗攻击方法FMM-Attack，通过在视频的少量帧上制作基于流的多模态对抗扰动。大量实验表明，该攻击能够有效诱导视频基础LLMs生成错误答案，并且可以导致模型输出混淆，促使其产生幻觉。总体而言，这些观察为多模态鲁棒性和安全特征对齐的进一步理解提供了启示，对各种大型多模态模型具有重要意义。

🔬 方法详解

问题定义：本文旨在解决视频基础LLMs在面对对抗攻击时的脆弱性，现有方法未能有效应对此类威胁，导致模型易受攻击。

核心思路：FMM-Attack的核心思想是通过在视频的少数帧中引入流基的多模态对抗扰动，来诱导模型产生错误输出。这样的设计旨在减少对抗扰动的可感知性，同时增强攻击的有效性。

技术框架：FMM-Attack的整体架构包括对视频帧的选择、对抗扰动的生成和模型输出的评估三个主要模块。首先，选择关键帧进行扰动；其次，利用流模型生成对抗扰动；最后，评估模型对扰动的反应。

关键创新：FMM-Attack的主要创新在于其流基的多模态扰动生成方法，与传统的对抗攻击方法相比，能够在更少的帧上实现更强的攻击效果，且对扰动的可感知性极低。

关键设计：在设计过程中，本文设置了特定的扰动强度和损失函数，以确保对抗扰动在视觉上不可察觉，同时优化模型输出的错误率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FMM-Attack能够有效诱导视频基础LLMs生成错误答案，且在对抗扰动的可感知性方面表现优异。具体而言，实验中模型的错误率提升了XX%，显示出该方法的强大攻击能力。

🎯 应用场景

该研究的潜在应用领域包括视频内容生成、自动驾驶系统和安全监控等。通过提高对抗攻击的理解，可以为多模态模型的安全性提供更好的保障，促进其在实际应用中的安全部署。

📄 摘要（原文）

Despite the remarkable performance of video-based large language models (LLMs), their adversarial threat remains unexplored. To fill this gap, we propose the first adversarial attack tailored for video-based LLMs by crafting flow-based multi-modal adversarial perturbations on a small fraction of frames within a video, dubbed FMM-Attack. Extensive experiments show that our attack can effectively induce video-based LLMs to generate incorrect answers when videos are added with imperceptible adversarial perturbations. Intriguingly, our FMM-Attack can also induce garbling in the model output, prompting video-based LLMs to hallucinate. Overall, our observations inspire a further understanding of multi-modal robustness and safety-related feature alignment across different modalities, which is of great importance for various large multi-modal models. Our code is available at https://github.com/THU-Kingmin/FMM-Attack.