SADL: What to Ignore? A Benchmark for Subject-Aware Distractor Localization
作者: Cao-Tri Nguyen, Nguyen-Khoa Luong, Vinh-Tiep Nguyen, Minh-Triet Tran
分类: cs.CV
发布日期: 2026-06-29
💡 一句话要点
提出SADL基准以解决主观意识下的干扰物定位问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉干扰物 主体意识 图像编辑 多模态系统 计算机视觉 视觉语言模型 基准评估
📋 核心要点
- 现有方法在识别干扰物时缺乏主体意识，导致用户意图无法有效适应，影响结果的准确性。
- 本文提出了SADL基准，专注于在保留构图重要对象的同时识别干扰物，解决了现有方法的局限性。
- 通过对七种视觉语言模型的评估，发现它们在识别干扰物方面表现良好，但在排除阶段存在过度应用的问题。
📝 摘要（中文）
在摄影作品中，视觉干扰物常常与主体和背景并存，影响观众的注意力和作品的构图。尽管现代编辑工具简化了物体移除的过程，但识别需要移除的对象仍主要依赖人工。现有的显著性模型和开放词汇检测器缺乏主体意识，无法适应用户意图的变化。此外，缺乏上下文的移除可能会破坏场景的语义一致性。为了解决这些问题，本文正式定义了主体意识下的干扰物定位任务，并提出了SADL基准，包含1800个主体意识案例，旨在促进系统评估和未来研究。
🔬 方法详解
问题定义：本文旨在解决在图像中识别干扰物时，如何在保留重要构图对象的同时进行有效的干扰物定位。现有方法未能考虑主体意识，导致用户意图的变化未能得到有效响应。
核心思路：论文的核心思路是引入主体意识的干扰物定位任务，设计出一个新的基准SADL，以系统化评估和促进未来研究。通过明确区分干扰物和重要对象，提升了干扰物识别的准确性。
技术框架：整体架构包括干扰物分类和排除过滤两个主要模块，围绕五个包含因素和三个上下文排除规则进行结构化评估。
关键创新：SADL是首个针对主体意识干扰物定位的真实世界基准，包含1800个案例和14617个注释候选对象，特别是938个难例用于压力测试排除校准。
关键设计：在实验中，采用了七种专有和开放权重的视觉语言模型，评估其在干扰物分类和排除过滤中的表现，揭示了模型在排除阶段的过度应用问题。通过这些设计，SADL为多模态系统中的主体条件推理提供了基础诊断工具。
🖼️ 关键图片
📊 实验亮点
实验结果表明，视觉语言模型在识别干扰物方面表现出色，但在排除阶段存在过度应用的问题，导致真实干扰物的抑制。通过SADL基准的引入，研究揭示了这一关键瓶颈，为未来的研究提供了重要的方向。
🎯 应用场景
该研究的潜在应用领域包括图像编辑、自动化内容生成和计算机视觉系统中的对象识别。通过提高干扰物定位的准确性，SADL基准可以帮助开发更智能的图像处理工具，提升用户体验，并在未来推动多模态系统的进一步发展。
📄 摘要（原文）
Photographs frequently contain \emph{visual distractors} besides foregrounds and backgrounds of the intended subject, competing for attention and weakening composition. While modern editing tools streamline object removal, identifying which objects to remove remains a mostly manual process. Existing saliency models and open-vocabulary detectors operate without subject awareness, failing to adapt to shifting user intent. Furthermore, context-agnostic removal may disrupt the scene's semantic coherence (e.g., keep the person but remove the chair they are sitting on). To address these limitations, we formalize the task of subject-aware distractor localization, which identifies distractors while retaining compositionally essential objects. This paper introduces \textsc{SADL}, the first real-world benchmark for this task, comprising 1,800 subject-aware cases across 1,000 photographs to enable systematic evaluation and facilitate future research. In total, there are 14,617 annotated candidates, including a robust set of 1,938 hard negatives to stress-test exclusion calibration. We evaluate seven proprietary and open-weight Vision-Language Models (VLMs) on a sequential pipeline of distractor classification followed by exclusion filtering, structured around five inclusion factors and three contextual exclusion rules. Our analysis reveals that VLMs are highly capable of identifying distractors, but then over-apply exclusion, which systematically suppresses true distractors at scale. By exposing this critical bottleneck, \textsc{SADL} provides a foundational diagnostic tool to advance subject-conditioned reasoning in multimodal systems.