MM-SafetyBench: A Benchmark for Safety Evaluation of Multimodal Large Language Models
作者: Xin Liu, Yichen Zhu, Jindong Gu, Yunshi Lan, Chao Yang, Yu Qiao
分类: cs.CV
发布日期: 2023-11-29 (更新: 2024-06-19)
🔗 代码/项目: GITHUB
💡 一句话要点
提出MM-SafetyBench以解决多模态大语言模型的安全评估问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 安全评估 图像操控 数据集构建 提示策略 模型鲁棒性 安全性研究
📋 核心要点
- 现有研究主要集中在大语言模型的安全性，而多模态大语言模型的安全性仍然缺乏深入研究，尤其是对图像相关攻击的脆弱性。
- 本文提出MM-SafetyBench框架，旨在通过构建包含多种场景的文本-图像对数据集，评估MLLMs在图像操控下的安全性。
- 实验结果表明，12种最先进的MLLMs在面对本文提出的攻击时均表现出脆弱性，且提出的提示策略显著提升了模型的安全性。
📝 摘要（中文）
针对多模态大语言模型（MLLMs）安全性不足的问题，本文提出了MM-SafetyBench，一个全面的框架用于评估MLLMs在图像相关攻击下的安全性。研究发现，MLLMs容易受到与查询相关的图像的攻击，即使在安全对齐的情况下也不例外。为此，本文构建了一个包含13种场景的数据库，共计5040对文本-图像数据，并提出了一种简单有效的提示策略，以增强MLLMs的抗攻击能力。该研究强调了加强开源MLLMs安全措施的必要性。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型（MLLMs）在面对图像相关攻击时的安全性问题。现有方法未能充分考虑图像对文本查询的潜在影响，导致MLLMs容易受到攻击。
核心思路：通过构建MM-SafetyBench框架，评估MLLMs在图像操控下的安全性，并提出一种简单有效的提示策略来增强模型的抗攻击能力。
技术框架：MM-SafetyBench框架包括数据集构建、模型评估和提示策略实施三个主要模块。数据集包含5040对文本-图像对，涵盖13种场景，模型评估则通过对比多种MLLMs的表现来进行。
关键创新：本文的主要创新在于首次系统性地评估了MLLMs在图像相关攻击下的安全性，并提出了有效的提示策略来增强模型的鲁棒性。这与现有方法的评估方式有本质区别。
关键设计：在数据集构建中，选择了多种具有挑战性的场景，并在提示策略中采用了简单的文本提示设计，以提高模型对攻击的抵抗力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，12种最先进的MLLMs在面对MM-SafetyBench提出的攻击时，均表现出明显的脆弱性，且在应用提示策略后，模型的安全性有显著提升，具体提升幅度未知。这一发现强调了当前多模态模型在安全性方面的不足。
🎯 应用场景
该研究的潜在应用领域包括安全性要求高的多模态系统，如自动驾驶、医疗影像分析和智能客服等。通过提升MLLMs的安全性，可以有效降低潜在的安全风险，增强用户信任，推动相关技术的广泛应用。
📄 摘要（原文）
The security concerns surrounding Large Language Models (LLMs) have been extensively explored, yet the safety of Multimodal Large Language Models (MLLMs) remains understudied. In this paper, we observe that Multimodal Large Language Models (MLLMs) can be easily compromised by query-relevant images, as if the text query itself were malicious. To address this, we introduce MM-SafetyBench, a comprehensive framework designed for conducting safety-critical evaluations of MLLMs against such image-based manipulations. We have compiled a dataset comprising 13 scenarios, resulting in a total of 5,040 text-image pairs. Our analysis across 12 state-of-the-art models reveals that MLLMs are susceptible to breaches instigated by our approach, even when the equipped LLMs have been safety-aligned. In response, we propose a straightforward yet effective prompting strategy to enhance the resilience of MLLMs against these types of attacks. Our work underscores the need for a concerted effort to strengthen and enhance the safety measures of open-source MLLMs against potential malicious exploits. The resource is available at https://github.com/isXinLiu/MM-SafetyBench