Safety Fine-Tuning at (Almost) No Cost: A Baseline for Vision Large Language Models
作者: Yongshuo Zong, Ondrej Bohdal, Tingyang Yu, Yongxin Yang, Timothy Hospedales
分类: cs.LG
发布日期: 2024-02-03 (更新: 2024-06-17)
备注: ICML 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出VLGuard数据集以解决视觉大语言模型的安全性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉大语言模型 安全性微调 对抗攻击 多模态学习 数据集构建
📋 核心要点
- 核心问题：现有的视觉大语言模型在生成内容时容易受到有害数据的影响，且对简单的攻击方式脆弱。
- 方法要点：本文提出了VLGuard数据集，并将其应用于视觉-语言模型的微调，以增强模型的安全性。
- 实验或效果：实验结果表明，微调后的VLLMs能够有效拒绝不安全指令，黑箱对抗攻击的成功率显著降低。
📝 摘要（中文）
当前的视觉大语言模型（VLLMs）展现出卓越的能力，但容易生成有害内容，并且对简单的攻击方式脆弱。初步分析表明，这主要是由于在视觉-语言指令微调过程中存在有害数据，导致VLLM微调可能会遗忘之前学习的安全对齐。为了解决这一问题，本文首先构建了一个涵盖多种有害类别的视觉-语言安全指令数据集VLGuard。实验表明，将该数据集整合到标准的视觉-语言微调中或用于后期微调，能够有效地对齐VLLMs的安全性，且对模型的有用性影响最小，甚至有所增强。经过微调的VLLMs能够有效拒绝不安全的指令，并显著降低多种黑箱对抗攻击的成功率，许多情况下接近零。
🔬 方法详解
问题定义：本文旨在解决视觉大语言模型在生成内容时容易受到有害数据影响的问题，现有方法在安全性对齐方面存在不足，导致模型在微调过程中遗忘了之前学习的安全知识。
核心思路：论文提出通过构建一个新的视觉-语言安全指令数据集VLGuard，来增强VLLMs的安全性。该数据集涵盖多种有害类别，旨在在微调过程中引导模型学习安全对齐。
技术框架：整体架构包括数据集的构建、标准视觉-语言微调过程以及后期微调阶段。主要模块包括数据预处理、模型训练和安全性评估。
关键创新：最重要的创新点在于构建了VLGuard数据集，并证明其在安全性微调中的有效性，与现有方法相比，提供了更为系统的安全性保障。
关键设计：在微调过程中，采用了特定的损失函数以强调安全性对齐，同时保持模型的有用性，确保微调对模型性能的影响最小化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过VLGuard数据集微调的VLLMs能够有效拒绝不安全指令，黑箱对抗攻击的成功率显著降低，许多情况下接近零，展示了该方法在提升模型安全性方面的显著效果。
🎯 应用场景
该研究的潜在应用领域包括安全性测试、训练新模型以及保护预训练的视觉大语言模型。通过引入VLGuard数据集，可以有效提升模型在实际应用中的安全性，降低生成有害内容的风险，具有重要的实际价值和未来影响。
📄 摘要（原文）
Current vision large language models (VLLMs) exhibit remarkable capabilities yet are prone to generate harmful content and are vulnerable to even the simplest jailbreaking attacks. Our initial analysis finds that this is due to the presence of harmful data during vision-language instruction fine-tuning, and that VLLM fine-tuning can cause forgetting of safety alignment previously learned by the underpinning LLM. To address this issue, we first curate a vision-language safe instruction-following dataset VLGuard covering various harmful categories. Our experiments demonstrate that integrating this dataset into standard vision-language fine-tuning or utilizing it for post-hoc fine-tuning effectively safety aligns VLLMs. This alignment is achieved with minimal impact on, or even enhancement of, the models' helpfulness. The versatility of our safety fine-tuning dataset makes it a valuable resource for safety-testing existing VLLMs, training new models or safeguarding pre-trained VLLMs. Empirical results demonstrate that fine-tuned VLLMs effectively reject unsafe instructions and substantially reduce the success rates of several black-box adversarial attacks, which approach zero in many cases. The code and dataset are available at https://github.com/ys-zong/VLGuard.