Old Tricks, New Models: How Simple Image Transformations Break Modern AI-based Content Moderation
作者: Marco Alecci, Francesco Marchiori, Iyiola Emmanuel Olatunji, Tegawendé F. Bissyandé, Jacques Klein
分类: cs.AI, cs.CR, cs.SE
发布日期: 2026-07-30
💡 一句话要点
提出简单图像变换以突破现代AI内容审核系统的局限
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 内容审核 图像变换 鲁棒性评估 多模态审核 基础模型 安全性
📋 核心要点
- 现有的内容审核系统在处理复杂和多样化的有害内容时，往往缺乏足够的政策覆盖和上下文理解能力。
- 本研究通过对三种商业图像审核服务进行评估，探讨简单图像变换如何影响审核系统的鲁棒性。
- 实验结果显示，所有服务均可被简单的图像变换绕过，且不同数据集和危害类别的鲁棒性差异显著。
📝 摘要（中文）
随着自动化内容审核系统在大规模筛查有害内容中的重要性日益增加，传统的特定任务分类器往往在政策覆盖和上下文理解方面存在局限。近期，基于大型基础模型的多模态审核API被引入，承诺提供更广泛的安全过滤能力。本研究分析了这一转变是否也能带来更强的图像审核能力。通过对三种商业图像审核服务进行大规模黑箱评估，发现所有服务均可通过简单的图像变换绕过，且这些变换不需要梯度、替代模型或目标系统的知识。即使是固定的变换，如颜色反转和灰度转换，也会导致不安全到安全的决策变化，同时内容仍然对人类可识别。不同数据集和危害类别的鲁棒性差异显著，表明仅用基础模型API替代传统审核分类器并不能提供可靠的安全边界。
🔬 方法详解
问题定义：本研究旨在解决现代AI内容审核系统在面对简单图像变换时的脆弱性。现有的审核系统在处理多模态内容和自我伤害等复杂情况时表现出明显的不足。
核心思路：通过对三种商业图像审核服务进行黑箱评估，分析简单的图像变换如何影响审核决策，以揭示其鲁棒性问题。
技术框架：研究采用了多种简单的、模型无关的图像变换，评估其在不同提供商、数据集和危害类别下的效果。主要模块包括图像变换、审核决策评估和鲁棒性比较。
关键创新：本研究的创新在于揭示了即使是简单的图像变换也能有效绕过现代审核系统，挑战了基于基础模型的审核API的安全性。
关键设计：实验中使用了七种简单的图像变换，评估了它们在不同强度下对审核决策的影响，特别关注了颜色反转和灰度转换等固定变换的效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所有三种商业图像审核服务均可通过简单的图像变换被绕过，且在不同数据集和危害类别下的鲁棒性差异显著。具体而言，固定变换如颜色反转和灰度转换导致了不安全到安全的决策变化，显示出这些系统在面对简单变换时的脆弱性。
🎯 应用场景
该研究的结果对内容审核系统的设计和实施具有重要的现实意义，尤其是在社交媒体和在线平台中。通过理解简单图像变换的影响，开发者可以更好地构建多层次的审核机制，以提高系统的安全性和鲁棒性。未来，这一研究也可能推动对更复杂的审核技术的探索，以应对不断演变的有害内容。
📄 摘要（原文）
While automated content-moderation systems have become essential for screening harmful content at scale, conventional task-specific classifiers often provide limited policy cov- erage and contextual understanding. Recently, commercial multimodal moderation APIs built on large foundation models have been introduced with the promise of providing broader and more capable safety filters. In this work, we analyze whether this shift also yields more robust image moderation. We conduct a large-scale black-box evaluation on three established commercial image-moderation services and compare their robustness. By evaluating seven simple, model-agnostic image transformations across multiple providers, datasets, harm categories, perceptual-similarity constraints, and transformation intensities, we find that: (1) all three commercial services can be bypassed using inexpensive image transformations that require no gradients, surrogate models, or knowledge of the target system; (2) even fixed transformations such as color inversion and grayscale conversion induce unsafe-to-safe decision changes while preserving content that remains recognizable to humans; (3) their robustness varies substantially across datasets and harm categories, with multimodal content and self-harm exhibiting pronounced vulnerabilities. This yields the conclusion that replacing conventional moderation classifiers with foundation-model-based APIs does not, by itself, provide a reliable security boundary. Such systems must be evaluated under realistic transformations and deployed as one component of a layered moderation pipeline rather than as standalone safety filters.