B-AVIBench: Towards Evaluating the Robustness of Large Vision-Language Model on Black-box Adversarial Visual-Instructions

📄 arXiv: 2403.09346v2 📥 PDF

作者: Hao Zhang, Wenqi Shao, Hong Liu, Yongqiang Ma, Ping Luo, Yu Qiao, Nanning Zheng, Kaipeng Zhang

分类: cs.CV, cs.AI

发布日期: 2024-03-14 (更新: 2024-12-28)

备注: Accepted by IEEE Transactions on Information Forensics & Security

DOI: 10.1109/TIFS.2024.3520306

🔗 代码/项目: GITHUB

💡 一句话要点

提出B-AVIBench以评估大型视觉语言模型的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 对抗攻击 鲁棒性评估 多模态学习 内容偏见

📋 核心要点

  1. 现有研究对大型视觉语言模型（LVLMs）在面对对抗性视觉指令的鲁棒性评估不足，导致其潜在脆弱性未被充分认识。
  2. 本文提出B-AVIBench框架，系统分析LVLMs在黑箱对抗视觉指令下的表现，涵盖多种图像和文本攻击类型。
  3. 通过对14个开源LVLMs的评估，发现即使是先进的闭源模型也存在固有偏见，强调了提升模型鲁棒性的重要性。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在响应用户的视觉指令方面取得了显著进展。然而，这些指令易受到故意和无意的攻击。为了解决这一问题，本文提出了B-AVIBench框架，旨在分析LVLMs在面对各种黑箱对抗视觉指令（B-AVIs）时的鲁棒性。我们生成了316K个B-AVIs，涵盖五类多模态能力和内容偏见，并对14个开源LVLMs进行了全面评估。实验结果揭示了LVLMs的脆弱性，强调了增强其鲁棒性、安全性和公平性的重要性。

🔬 方法详解

问题定义：本文旨在解决大型视觉语言模型（LVLMs）在面对黑箱对抗视觉指令（B-AVIs）时的鲁棒性评估问题。现有方法在这一领域的研究相对有限，导致模型的脆弱性未被充分揭示。

核心思路：B-AVIBench框架通过生成多种类型的B-AVIs，系统地评估LVLMs的鲁棒性，涵盖图像、文本和内容偏见等多种攻击方式。这样的设计能够全面反映模型在实际应用中的表现。

技术框架：B-AVIBench的整体架构包括数据生成模块、评估模块和结果分析模块。数据生成模块负责创建316K个B-AVIs，评估模块则对14个开源LVLMs进行性能测试，最后通过结果分析模块总结模型的鲁棒性和偏见情况。

关键创新：本文的主要创新在于系统性地生成和评估多种类型的B-AVIs，填补了现有研究的空白，并揭示了即使是先进的闭源模型也存在固有偏见。

关键设计：在B-AVIBench中，采用了多种参数设置和损失函数，以确保生成的B-AVIs能够有效地测试模型的鲁棒性。具体的网络结构和评估指标也经过精心设计，以提高评估的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，14个开源LVLMs在面对316K个B-AVIs时表现出明显的脆弱性，尤其是在内容偏见方面。即使是如GeminiProVision和GPT-4V等先进的闭源模型也未能完全避免这些偏见，强调了提升模型鲁棒性的重要性。

🎯 应用场景

B-AVIBench框架可广泛应用于大型视觉语言模型的安全性评估和优化，帮助研究人员和开发者识别模型的脆弱性并进行改进。其实际价值在于提升模型在真实世界应用中的鲁棒性，确保用户在使用过程中的安全性和公平性。未来，该框架还可扩展至其他类型的多模态模型评估。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) have shown significant progress in responding well to visual-instructions from users. However, these instructions, encompassing images and text, are susceptible to both intentional and inadvertent attacks. Despite the critical importance of LVLMs' robustness against such threats, current research in this area remains limited. To bridge this gap, we introduce B-AVIBench, a framework designed to analyze the robustness of LVLMs when facing various Black-box Adversarial Visual-Instructions (B-AVIs), including four types of image-based B-AVIs, ten types of text-based B-AVIs, and nine types of content bias B-AVIs (such as gender, violence, cultural, and racial biases, among others). We generate 316K B-AVIs encompassing five categories of multimodal capabilities (ten tasks) and content bias. We then conduct a comprehensive evaluation involving 14 open-source LVLMs to assess their performance. B-AVIBench also serves as a convenient tool for practitioners to evaluate the robustness of LVLMs against B-AVIs. Our findings and extensive experimental results shed light on the vulnerabilities of LVLMs, and highlight that inherent biases exist even in advanced closed-source LVLMs like GeminiProVision and GPT-4V. This underscores the importance of enhancing the robustness, security, and fairness of LVLMs. The source code and benchmark are available at https://github.com/zhanghao5201/B-AVIBench.