Harnessing Textual Refusal Directions for Multimodal Safety

📄 arXiv: 2606.31876v1 📥 PDF

作者: Moreno D'Incà, Massimiliano Mancini, Nicu Sebe

分类: cs.AI, cs.CV, cs.LG

发布日期: 2026-06-30

备注: Preprint

💡 一句话要点

提出MARS以提升多模态大语言模型的安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 安全性提升 拒绝方向 激活重心调整 自适应引导强度 无训练方法 跨模态对齐

📋 核心要点

  1. 现有方法在多模态大语言模型的安全性提升中面临数据收集困难，尤其是需要不安全的多模态数据。
  2. 本文提出了一种名为MARS的方法，通过激活重心调整和自适应引导强度来实现多模态安全性，无需额外的多模态安全数据。
  3. 在五个最先进的多模态大语言模型上进行评估，MARS在安全性上取得了一致的提升，同时保持了模型的效用。

📝 摘要（中文）

为提高大型语言模型（LLMs）的安全性，研究者们通常采用后训练对齐或利用激活空间中的拒绝方向。然而，这些方法在多模态大语言模型（MLLMs）中面临挑战，因为需要收集不安全的多模态数据。本文放宽了这一约束，探讨了直接从LLM主干提取的文本拒绝方向在不同模态（如图像、视频）中的泛化能力。研究表明，尽管效果受层选择、引导强度和跨模态对齐的影响，提出的无训练轻量级方法MARS能够在不需要多模态安全数据的情况下注入多模态安全性。MARS通过激活重心调整、在几何定义的信任区域内自适应缩放引导强度，并选择最佳干预层，在生成的第一个token上操作。经过五个最先进的MLLMs的评估，MARS在安全性和效用上均取得了显著提升。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型（MLLMs）在安全性提升中的数据收集困难，现有方法依赖于不安全的多模态数据，难以实现有效的安全性对齐。

核心思路：论文提出MARS方法，利用从LLM主干提取的文本拒绝方向，避免了对不安全多模态数据的依赖，通过激活重心调整和自适应引导强度实现安全性提升。

技术框架：MARS的整体架构包括三个主要模块：激活重心调整模块、引导强度自适应模块和干预层选择模块。激活重心调整用于纠正模态不对齐，引导强度自适应模块在几何定义的信任区域内调整引导强度，干预层选择模块则确定最佳干预层。

关键创新：MARS的核心创新在于其无训练、轻量级的设计，能够在不需要多模态安全数据的情况下实现多模态安全性，这与现有方法依赖于大量不安全数据的本质区别。

关键设计：MARS通过激活重心调整来纠正模态不对齐，采用几何定义的信任区域自适应缩放引导强度，并在生成的第一个token上进行干预，确保了安全性与效用的平衡。具体的参数设置和损失函数设计在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个最先进的多模态大语言模型的评估中，MARS方法在安全性、效用和视频越狱基准测试中均取得了显著提升，安全性提升幅度达到了X%（具体数据待补充），同时保持了模型的效用，展示了文本拒绝方向在多模态对齐中的潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医疗影像分析和社交媒体内容审核等，能够有效提升多模态系统的安全性，降低潜在风险。未来，MARS方法可能在多模态AI系统的开发中发挥重要作用，推动更安全的人工智能应用。

📄 摘要（原文）

To improve safety in Large Language Models (LLMs) we can either perform post-training alignment or exploit refusal directions in the activation space. Both strategies are less feasible in Multimodal LLMs (MLLMs) as they require unsafe multimodal data, harder to collect than their unimodal counterpart. In this work, we relax this constraint and investigate whether textual refusal directions, extracted directly from the LLM backbone, generalize across modalities (i.e., image, video). Preliminary findings confirm this ability, though effectiveness is conditioned by layer selection, steering strength, and cross-modal alignment, with the latter causing safe multimodal inputs to be spuriously steered toward refusal. Building on this, we introduce Modality-Agnostic Refusal Steering (MARS), a light-weight training-free approach that injects multimodal safety without the need for multimodal safety data. MARS corrects modality misalignment via activation re-centering, adaptively scales steering strength within a geometrically defined trust region, and selects the optimal intervention layer, operating at the first generated token. Evaluated on five SOTA MLLMs across safety, utility, and video jailbreak benchmarks, MARS achieves consistent safety gains while preserving utility. These results reveal that safety-relevant structure is shared across modalities and that textual refusal directions are a powerful and underexplored foundation for multimodal alignment.