Identifying the Unknown: Prompt-Free Open Vocabulary Anomaly Recognition for Robot-Object Interaction

📄 arXiv: 2606.26829v1 📥 PDF

作者: Philipp Allgeuer, Jan-Gerrit Habekost, Stefan Wermter

分类: cs.CV

发布日期: 2026-06-25

备注: International Conference on Artificial Neural Networks 2026

💡 一句话要点

提出AnomNOVIC以解决机器人对象交互中的开放词汇异常识别问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇识别 异常检测 机器人交互 掩码自编码器 实时分类 无提示学习 自主机器人

📋 核心要点

  1. 现有的对象检测方法在开放世界场景中无法有效识别未见过的物体，限制了机器人的自主性。
  2. 本文提出的AnomNOVIC框架结合了掩码自编码器和无提示的开放词汇分类器，能够高效地进行异常检测和分类。
  3. 实验结果显示，AnomNOVIC在多个数据集上显著提高了检测和分类的准确性，尤其是在无提示识别方面表现优异。

📝 摘要（中文）

在现实环境中运行的机器人必须能够识别之前未见过的物体。随着机器人系统向开放世界自主性发展，对无提示且高效的开放词汇对象检测器的需求日益增长。本文提出了AnomNOVIC，一个结合了用于异常检测的掩码自编码器（MAE）和强大的实时无提示开放词汇图像分类器NOVIC的两阶段已知工作空间框架。MAE生成通用的对象无关边界框，使NOVIC能够在不需要预定义候选类列表的情况下对显著图像区域进行分类。我们在一个包含NICOL人形机器人的桌面机器人-对象环境中评估AnomNOVIC，达到了47.1%的AP和57.5%的AP50的无提示识别效果；如果提供类候选，则分别达到59.0%的AP和72.5%的AP50。在包括48个独特对象的野外测试集在内的额外数据集上，AnomNOVIC的无提示检测和分类准确率高达82.6%。这些结果显著超越了所有测试的开放词汇基线，包括YOLO-World-v2、OWLv2和YOLOE。

🔬 方法详解

问题定义：本文旨在解决机器人在开放世界环境中识别未见物体的挑战。现有方法通常依赖于预定义的类列表，限制了其灵活性和适应性。

核心思路：AnomNOVIC框架通过结合掩码自编码器（MAE）和NOVIC分类器，消除了对提示的需求，使得机器人能够在未知环境中进行有效的对象识别。

技术框架：该框架分为两个主要阶段：第一阶段使用MAE进行异常检测，生成对象无关的边界框；第二阶段使用NOVIC对这些边界框内的显著区域进行分类。

关键创新：AnomNOVIC的创新在于其无提示的开放词汇分类能力，允许机器人在没有预定义类的情况下进行实时识别，这一特性在现有方法中是前所未有的。

关键设计：在MAE中，采用了特定的损失函数以优化异常检测效果；NOVIC则利用了高效的图像特征提取网络，确保了分类的实时性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AnomNOVIC在多个实验中表现出色，达到了47.1%的AP和57.5%的AP50的无提示识别效果，提供类候选时分别达到59.0%的AP和72.5%的AP50。在包含48个独特对象的野外测试集上，其无提示检测和分类准确率高达82.6%，显著超越了YOLO-World-v2、OWLv2和YOLOE等基线方法。

🎯 应用场景

AnomNOVIC的研究成果在多个领域具有广泛的应用潜力，包括智能家居、服务机器人、工业自动化等。其无提示的开放词汇识别能力使得机器人能够在动态和复杂的环境中自主操作，提升了人机交互的效率和安全性。未来，该技术可能推动机器人在更多未知环境中的应用，进一步实现自主智能化。

📄 摘要（原文）

Robots operating in real-world environments must in general be able to recognize previously unseen objects. As robotic systems move toward open-world autonomy, there is a growing, yet largely unmet, need for open vocabulary object detectors that are prompt-free and efficient enough for continuous deployment. We present AnomNOVIC, a two-stage known-workspace framework that combines a masked autoencoder (MAE) trained for anomaly detection, with NOVIC, a powerful real-time prompt-free open vocabulary image classifier. The MAE produces generic object-agnostic bounding boxes, allowing NOVIC to classify salient image regions without requiring a predefined candidate class list. We evaluate AnomNOVIC against strong open vocabulary baselines in a tabletop robot-object environment featuring the NICOL humanoid robot, reaching 47.1% AP / 57.5% AP50 for prompt-free recognition, and 59.0% AP / 72.5% AP50 if class candidates are provided. Across additional datasets, including an in-the-wild test set with 48 unique objects, AnomNOVIC reaches up to 82.6% prompt-free detection and classification accuracy. These results significantly surpass all tested open vocabulary baselines, including YOLO-World-v2, OWLv2, and YOLOE.