Red Teaming Visual Language Models

📄 arXiv: 2401.12915v1 📥 PDF

作者: Mukai Li, Lei Li, Yuwei Yin, Masood Ahmed, Zhenguang Liu, Qi Liu

分类: cs.AI, cs.CL, cs.CV

发布日期: 2024-01-23

备注: Working in progress

💡 一句话要点

提出RTVLM数据集以评估视觉语言模型的安全性与公平性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 红队测试 多模态输入 安全性评估 公平性评估 数据集构建 模型对齐

📋 核心要点

  1. 当前视觉语言模型在处理多模态输入时，安全性和公平性评估尚未得到充分研究，存在潜在风险。
  2. 本文提出了RTVLM数据集，涵盖多种子任务，旨在系统评估视觉语言模型在红队测试中的表现。
  3. 实验结果显示，开源VLMs在红队测试中表现不佳，与GPT-4V相比存在显著性能差距，且通过红队对齐可有效提升模型性能。

📝 摘要（中文）

视觉语言模型（VLMs）扩展了大型语言模型（LLMs）的能力，能够处理多模态输入。尽管已有研究表明LLMs在特定测试案例下可能生成有害或不准确的内容，但VLMs在类似场景中的表现仍不明确。为此，本文提出了一种新颖的红队数据集RTVLM，涵盖10个子任务（如图像误导、多模态越狱、面部公平性等），并从忠实性、隐私、安全性和公平性四个主要方面进行评估。RTVLM是首个针对这些不同方面基准测试当前VLMs的红队数据集。详细分析显示，10个开源VLMs在红队测试中表现不一，与GPT-4V存在高达31%的性能差距。此外，通过对LLaVA-v1.5进行红队对齐，模型在RTVLM测试集上提升了10%的性能，MM-Hal上提升了13%，而在MM-Bench上没有明显下降，超越了其他基于LLaVA的模型。这表明当前开源VLMs在红队对齐方面仍存在不足。我们的代码和数据集将开源。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在多模态输入下的安全性和公平性评估问题。现有方法缺乏系统的红队测试，导致模型在实际应用中可能产生有害输出。

核心思路：提出RTVLM数据集，通过设计多种子任务，全面评估视觉语言模型在忠实性、隐私、安全性和公平性等方面的表现，从而揭示其潜在缺陷。

技术框架：整体架构包括数据集构建、模型评估和红队对齐三个主要模块。数据集构建涵盖10个子任务，模型评估则通过对比不同VLMs的表现进行分析。

关键创新：RTVLM是首个针对视觉语言模型的红队数据集，能够从多个维度评估模型的安全性和公平性，与现有方法相比，提供了更全面的测试标准。

关键设计：在数据集构建中，设计了多种任务和评估指标，确保覆盖不同的安全性和公平性问题。同时，采用了监督微调（SFT）方法对LLaVA-v1.5进行红队对齐，提升了模型在特定任务上的表现。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，10个开源视觉语言模型在红队测试中表现不一，与GPT-4V相比存在高达31%的性能差距。通过对LLaVA-v1.5进行红队对齐，模型在RTVLM测试集上提升了10%的性能，MM-Hal上提升了13%，而在MM-Bench上保持稳定，显示出红队对齐的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动内容生成、图像识别与处理、社交媒体监控等。通过提升视觉语言模型的安全性和公平性，能够有效减少模型在实际应用中产生的偏见和误导信息，具有重要的社会价值和实际影响。

📄 摘要（原文）

VLMs (Vision-Language Models) extend the capabilities of LLMs (Large Language Models) to accept multimodal inputs. Since it has been verified that LLMs can be induced to generate harmful or inaccurate content through specific test cases (termed as Red Teaming), how VLMs perform in similar scenarios, especially with their combination of textual and visual inputs, remains a question. To explore this problem, we present a novel red teaming dataset RTVLM, which encompasses 10 subtasks (e.g., image misleading, multi-modal jail-breaking, face fairness, etc) under 4 primary aspects (faithfulness, privacy, safety, fairness). Our RTVLM is the first red-teaming dataset to benchmark current VLMs in terms of these 4 different aspects. Detailed analysis shows that 10 prominent open-sourced VLMs struggle with the red teaming in different degrees and have up to 31% performance gap with GPT-4V. Additionally, we simply apply red teaming alignment to LLaVA-v1.5 with Supervised Fine-tuning (SFT) using RTVLM, and this bolsters the models' performance with 10% in RTVLM test set, 13% in MM-Hal, and without noticeable decline in MM-Bench, overpassing other LLaVA-based models with regular alignment data. This reveals that current open-sourced VLMs still lack red teaming alignment. Our code and datasets will be open-source.