One Anchor for All: Unified Multilingual and Multimodal Safety Alignment for LVLMs

📄 arXiv: 2607.27917v1 📥 PDF

作者: Enyi Shi, Fei Shen, Chuancheng Shi, Linxia Zhu, Shuyi Miao, Jinhui Tang, Tat-Seng Chua

分类: cs.AI

发布日期: 2026-07-30

💡 一句话要点

提出统一多语言多模态安全对齐框架以应对复合攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 多模态安全 复合攻击 安全神经元 跨语言对齐

📋 核心要点

  1. 现有方法将语言和模态防御隔离，导致模型难以应对复合攻击，且安全数据稀缺和微调成本高。
  2. 提出基于模态和语言共享安全神经元的安全对齐框架，通过识别和交叉不同语言的安全神经元来增强模型的防御能力。
  3. 实验结果显示，该方法在多语言和多模态安全基准测试中表现优异，显著提升了模型的安全性和通用性。

📝 摘要（中文）

随着大型视觉语言模型（LVLMs）的全球部署，多语言指令与视觉信息的结合使恶意攻击变得更加隐蔽和复杂。然而，现有方法将语言和模态防御隔离，且安全数据稀缺和微调成本高，使模型难以抵御复合攻击。为此，本文提出了一种基于模态和语言共享安全神经元（MLS-Neurons）的神经元级跨维度安全对齐框架。通过识别单语和单模态安全神经元，提取响应视觉和文本风险的模态共享安全神经元，并以英语作为语义锚点，跨语言识别模态和语言共享安全神经元，从而实现对复合攻击的有效防御。实验表明，该方法在多语言和多模态安全基准测试中显著优于现有最先进方法，同时保持了模型的通用性。

🔬 方法详解

问题定义：本文旨在解决大型视觉语言模型在面对复合攻击时的防御不足，现有方法无法有效整合语言和模态的安全防御，导致安全性降低。

核心思路：通过识别模态和语言共享的安全神经元，构建一个跨维度的安全对齐框架，以此来增强模型对复合攻击的防御能力。该设计旨在利用英语作为语义锚点，提升多语言环境下的安全性。

技术框架：整体框架包括三个主要模块：首先识别单语和单模态的安全神经元；其次提取模态共享安全神经元；最后跨语言识别模态和语言共享安全神经元。

关键创新：最重要的创新在于提出了模态和语言共享安全神经元（MLS-Neurons），通过交叉不同语言的安全神经元来实现更强的防御能力，这一方法与现有的隔离防御策略本质上不同。

关键设计：在参数设置上，仅更新约0.03%的共享神经元，采用激活强度和下游影响来量化功能显著性，确保在保持模型通用性的同时，提升安全性。实验中使用的损失函数和网络结构经过精心设计，以适应多模态和多语言的需求。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，所提方法在多语言和多模态安全基准测试中显著优于现有最先进的方法，提升幅度达到20%以上，且在保持模型通用性方面表现良好，展示了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括安全性要求高的多模态交互系统，如自动驾驶、智能监控和在线内容审核等。通过提升模型对复合攻击的防御能力，可以有效保护用户数据和系统安全，具有重要的实际价值和未来影响。

📄 摘要（原文）

As large vision-language models (LVLMs) are deployed globally, the combination of multilingual instructions and visual information makes malicious attacks more covert and sophisticated than ever before. However, existing methods isolate language and modality defenses, which, coupled with the scarcity of safety data and high fine-tuning costs, makes it difficult for models to defend against compound attacks. To address this severe challenge, we propose a neuron-level cross-dimensional safety alignment framework driven by modality- and language-shared safety neurons (MLS-Neurons). First, we identify monolingual and unimodal safety neurons by comparing responses to harmful and benign samples, quantifying functional saliency through activation strength and downstream impact. Then, by intersecting these unimodal neurons within each language, we extract modality-shared safety neurons (MS-Neurons) responsive to both visual and textual risks, bridging the safety representation gap between modalities. Furthermore, using English as a semantic anchor, we intersect MS-Neurons across languages to identify modality- and language-shared safety neurons (MLS-Neurons), serving as key defenses against compound attacks. Finally, we update only this minimal subset of shared neurons (~0.03% of parameters), transferring English-only safety supervision to multilingual and multimodal scenarios. Extensive experiments show that our method significantly outperforms state-of-the-art approaches across diverse multilingual and multimodal safety benchmarks while preserving general utility.