Nemotron 3.5 Content Safety Moderator: A Compact Multimodal, Multilingual, and Reasoning Enabled Content Safety Moderator
作者: Varun Singh, Anuj Doshi, Makesh Narsimhan Sreedhar, Shaona Ghosh, Katherine Luna
分类: cs.AI
发布日期: 2026-08-27
💡 一句话要点
提出Nemotron 3.5以解决多模态内容安全审核问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 内容安全审核 多模态处理 视觉-语言模型 自定义政策 多语言支持
📋 核心要点
- 现有的内容安全审核系统多集中于文本，难以处理多模态输入，导致审核覆盖不足。
- Nemotron 3.5 CS通过结合视觉和语言信息，提供跨多种语言的内容安全审核，支持自定义政策。
- 实验结果显示，Nemotron 3.5 CS在多模态安全审核中表现优异，且在延迟和准确性上与专业模型竞争力强。
📝 摘要（中文）
随着AI应用的普及，内容安全审核不仅限于文本，系统需要对图像、文档和生成的响应进行判断。现有的安全防护措施通常只能覆盖部分场景，难以实现广泛覆盖、定制政策控制和低计算成本的结合。本文提出了Nemotron 3.5内容安全审核器（Nemotron 3.5 CS），这是一个紧凑的4B视觉-语言安全审核器，能够跨12种语言联合分类用户提示、图像和助手响应。Nemotron 3.5 CS能够返回安全标签以满足延迟敏感的审核需求，并在请求时生成简洁的推理轨迹，应用自定义政策并识别违规类别。我们还发布了一个多模态和多语言的安全数据集用于训练，涵盖人类标注的真实图像审核、良性视觉-语言和文档任务、合成的稀有风险和越狱案例，以及自定义政策示例。评估结果表明，Nemotron 3.5 CS在多模态安全、文本审核、多语言鲁棒性和自定义政策遵循等方面表现出良好的覆盖权衡。
🔬 方法详解
问题定义：本文旨在解决现有内容安全审核系统在多模态输入（如图像和文本）下的不足，现有方法往往只能覆盖部分场景，难以实现全面的安全审核。
核心思路：Nemotron 3.5 CS的核心思路是通过一个紧凑的视觉-语言模型，联合处理用户提示、图像和助手响应，实现多模态内容的安全审核，并支持多语言和自定义政策的应用。
技术框架：该系统的整体架构包括输入模块（接收用户提示和图像）、处理模块（进行多模态分类和推理）、输出模块（返回安全标签和推理轨迹）。
关键创新：Nemotron 3.5 CS的主要创新在于其紧凑的4B模型设计，能够在保持高效性的同时，实现图像和政策条件下的审核，区别于传统的单一模态审核系统。
关键设计：在技术细节上，系统采用了特定的损失函数以优化多模态输入的处理效果，并设计了适应不同语言和内容类型的网络结构，以提高审核的准确性和鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Nemotron 3.5 CS在多模态安全审核中表现出色，能够在延迟和准确性上与专业模型相媲美，尤其是在处理多语言和自定义政策时，显示出良好的鲁棒性和灵活性。
🎯 应用场景
Nemotron 3.5 CS的潜在应用领域包括社交媒体内容审核、在线教育平台的内容监控以及任何需要多模态内容审核的AI应用。其高效的审核能力和自定义政策支持使其在实际应用中具有重要价值，未来可能推动更安全的AI交互环境。
📄 摘要（原文）
Safety moderation for deployed AI applications is moving beyond text-only prompts: systems increasingly need to judge images, documents, screenshots, and generated responses under policies that vary across domains. Existing guardrails usually cover only part of this setting, making it difficult to combine broad coverage, custom policy control, and low compute cost. We present Nemotron 3.5 Content Safety Moderator, also referred to as Nemotron 3.5 CS in this paper for brevity, a compact 4B vision-language safety moderator that jointly classifies user prompts, images, and assistant responses across 12 languages. Nemotron 3.5 CS returns safety labels for latency-sensitive moderation and can additionally produce concise reasoning traces that apply supplied custom policies and identify violated categories when reasoning is requested. We also release a multimodal and multilingual safety dataset for guard training, spanning human-labeled real-image moderation, benign vision-language and document tasks, synthetic rare-risk and jailbreak cases, and custom-policy examples. Across evaluations spanning multimodal safety, text moderation, multilingual robustness, custom-policy following, benign false positives, and latency, Nemotron 3.5 CS demonstrates a practical coverage tradeoff: it adds image-conditioned and policy-conditioned moderation while remaining broadly competitive with specialized guard models. These results suggest that compact vision-language moderators can serve as deployable front-line safety components, with reasoning used selectively for audit and policy review.