SingGuard: A Policy-Adaptive Multimodal LLM Guardrail with Dynamic Reasoning
作者: SingGuard Team
分类: cs.CV, cs.CL
发布日期: 2026-06-22
🔗 代码/项目: GITHUB
💡 一句话要点
提出SingGuard以解决多模态安全评估问题
🎯 匹配领域: 支柱二:RL算法与架构 (RL & Architecture) 支柱九:具身大模型 (Embodied Foundation Models)
关键词: 多模态安全评估 政策自适应 动态推理 视觉-语言模型 强化学习 安全防护 基准测试
📋 核心要点
- 现有的多模态安全防护措施往往依赖固定的分类体系,缺乏对动态安全规则的适应能力。
- SingGuard通过将活动政策作为运行时输入,逐条检查内容与政策的符合性,提供灵活的安全评估。
- 在多个基准测试中,SingGuard在每个测试集上都达到了最先进的平均F1分数,动态规则评估的准确率从0.6465提升至0.7415。
📝 摘要(中文)
随着视觉-语言模型(VLMs)在消费、医疗、金融和企业应用中的广泛部署,安全风险也随之增加。现有的安全防护措施往往依赖固定的分类体系或仅针对狭窄的交互场景,导致其在安全规则变化时缺乏适应性。为此,本文提出了SingGuard,一个政策自适应的多模态防护模型系列,能够在多模态对话中进行安全评估。SingGuard将活动政策视为运行时输入,逐条检查目标内容与活动政策的符合性,并预测安全标签及触发的规则。该模型支持快速、混合和慢速推理模式,平衡了效率与可解释性,并通过快慢解耦的强化学习进一步优化性能。此外,SingGuard-Bench基准测试包含56,340个示例,涵盖80多种细粒度风险类型,展示了SingGuard在多个基准测试中的领先表现。
🔬 方法详解
问题定义:本文旨在解决多模态对话中的安全评估问题,现有方法在面对动态安全规则时适应性不足,无法有效应对多样化的应用场景。
核心思路:SingGuard通过将活动政策作为运行时输入,逐条检查内容与政策的符合性,从而实现灵活的安全评估和动态适应。该设计使得模型能够在不同的应用场景中快速调整安全策略。
技术框架:SingGuard的整体架构包括输入自然语言规则、逐条检查内容与政策的符合性、预测安全标签及触发规则。模型支持多种推理模式,包括快速、混合和慢速推理,以满足不同的应用需求。
关键创新:SingGuard的主要创新在于其政策自适应能力,能够在运行时根据不同的安全规则进行动态调整,与传统的固定分类方法形成鲜明对比。
关键设计:模型采用快慢解耦的强化学习优化策略,设计了多种推理模式以平衡效率与可解释性,确保在不同场景下的安全评估准确性。
🖼️ 关键图片
📊 实验亮点
在多个基准测试中,SingGuard在35个数据集上实现了每个测试集的最先进平均F1分数,动态规则评估的政策遵循准确率从0.6465提升至0.7415,显示出显著的性能提升。
🎯 应用场景
SingGuard的潜在应用领域包括消费、医疗、金融和企业等多个行业,能够有效提升多模态交互中的安全性。其灵活的政策适应能力使其在动态变化的环境中具有重要的实际价值,未来可广泛应用于智能助手、自动化客服等场景。
📄 摘要(原文)
Vision-language models (VLMs) are increasingly deployed in consumer, medical, financial, and enterprise applications. This broad deployment expands the safety surface: risks can arise from multimodal question answering, assistant responses, and cross-modal composition, while moderation policies may vary across products, regions, and deployment stages. Most existing guardrails either rely on fixed taxonomies or target only a narrow set of interaction settings, which limits their adaptability when safety rules change at deployment time. We present \textbf{SingGuard}, a policy-adaptive multimodal guardrail model family for safety assessment in multimodal conversations. SingGuard treats the active policy as a runtime input: given natural-language rules, it checks the target content against the active policy rule by rule and predicts both the safety label and the triggered rule. To balance efficiency and interpretability, SingGuard supports fast, hybrid, and slow inference regimes along a fast-to-slow reasoning spectrum, ranging from direct safety judgments to policy-grounded deliberation. We further optimize this behavior with fast--slow decoupled reinforcement learning. We also introduce \textbf{SingGuard-Bench}, a multimodal guardrail benchmark with 56{,}340 examples spanning 80+ fine-grained risk types across multimodal QA, adversarial attack, and dynamic-rule evaluation settings, including cross-modal joint-risk cases where each modality is harmless in isolation but their composition implies unsafe intent. Across six benchmark families (35 datasets), SingGuard achieves state-of-the-art average F1 in every family. Dynamic-rule evaluation further shows improved policy-following accuracy from 0.6465 to 0.7415 under runtime policy shifts. Our code is available at https://github.com/inclusionAI/Sing-Guard.