WALDO: One-Shot Exemplar-Conditioned Object Detection in Cluttered Scenes
作者: Kishor Datta Gupta, Ahmed Rafi Hasan, Md. Mahfuzur Rahman, Md. Sadman Haque, Mohd Ariful Haque
分类: cs.CV
发布日期: 2026-08-28
💡 一句话要点
提出WALDO以解决复杂场景中的单次示例条件物体检测问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物体检测 示例条件 复杂场景 视觉语言模型 深度学习 模型预训练 机器人视觉
📋 核心要点
- 现有的视觉语言模型在复杂场景中定位特定物体实例时，通常需要大量的计算资源和数据，效率低下。
- WALDO通过利用已经学习的世界模型预训练目标，提出了一种低成本的单次示例和语言条件检测方法，显著降低了计算需求。
- 在35个复杂场景的实验中，WALDO的AP@50达到了0.461，相比于基线模型有明显提升，展示了其有效性。
📝 摘要（中文）
本研究提出WALDO，一种基于单次示例和语言条件的物体检测方法，旨在通过一张参考图像和简短描述在复杂场景中定位特定物体实例，并在实例缺失时进行报告。WALDO使用3.4M可训练参数的检测头，读取冻结的V-JEPA 2.1特征，联合预测物体定位和目标存在性。由于示例条件监督稀缺，研究者通过实例注释合成训练集，挖掘真实框中的示例，并构建排除参考实例的缺失案例。实验结果显示，WALDO在35个复杂场景中实现了0.461的AP@50，相较于基线模型Grounding DINO的0.306有显著提升。
🔬 方法详解
问题定义：本研究旨在解决在复杂场景中通过单张参考图像和简短描述定位特定物体实例的问题。现有方法通常依赖于大型视觉语言模型，计算成本高且效率低下。
核心思路：WALDO的核心思路是利用已经学习的世界模型预训练目标，通过一套低成本的示例和语言条件检测机制，来实现物体定位和存在性预测。该方法避免了对主干网络的梯度更新，从而降低了计算复杂度。
技术框架：WALDO的整体架构包括一个检测头，该头读取冻结的V-JEPA 2.1特征，联合预测物体的定位和目标的存在性。训练过程中，通过实例注释合成训练集，挖掘真实框中的示例，并构建缺失案例。
关键创新：WALDO的主要创新在于其示例条件检测机制，能够在缺乏大量示例监督的情况下，依然有效地进行物体检测。这与传统方法依赖大量标注数据的方式形成鲜明对比。
关键设计：WALDO的设计包括3.4M的可训练参数，采用特定的损失函数来处理示例条件监督的稀缺性，并通过合成训练集来增强模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
WALDO在35个复杂场景中的实验结果显示，其AP@50达到了0.461，显著高于基线模型Grounding DINO的0.306，提升幅度达到50.5%。此外，使用DINOv3替代V-JEPA时，实例AP@50从0.201降至0.141，表明预训练目标对性能的关键影响。
🎯 应用场景
WALDO的研究成果在物体检测、机器人视觉和自动驾驶等领域具有广泛的应用潜力。其低成本的检测机制能够在资源受限的环境中实现高效的物体识别，推动智能系统在复杂场景中的应用。未来，WALDO的技术可以进一步扩展到实时监控、增强现实等领域，提升智能系统的交互能力和环境理解能力。
📄 摘要（原文）
Locating a specific object instance in a cluttered scene using a single reference image and a short description, and reporting when that instance is absent, large vision-language models usually address this task. We ask whether the same capability is available far more cheaply, from representations already learned by a world-model pretraining objective. We present WALDO, a one-shot exemplar- and language-conditioned detection head with 3.4M trainable parameters that reads frozen V-JEPA 2.1 features to jointly predict object localization and target presence, with no gradient on the backbone. Because exemplar-conditioned supervision is scarce, we synthesize training episodes from instance annotations, mining exemplars from ground-truth boxes and constructing absence cases that exclude the referenced instance while leaving same-category distractors in view. This is easy to get wrong: in the obvious implementation, crop size alone predicts the label, and a head trained on it reaches 0.9998 absence AUROC without ever consulting the exemplar, and we report the negative controls that close the shortcut. On 35 held-out cluttered scenes, WALDO achieves a 0.461 catalogue AP@50, compared to 0.306 for a prompted Grounding DINO baseline under an identical scorer. Substituting DINOv3 for V-JEPA under a matched 576-token grid drops within-category absence AUROC from 0.880 to 0.726 and instance AP@50 from 0.201 to 0.141, isolating the pretraining objective rather than input resolution as the source of the gain. Instance-level Success@1, however, reaches only 0.190 against a 0.190 category-chance floor: world-model features transfer to localization precision and absence detection but not to instance identity.