SPARC: Reliable Spatial Annotations from Robot Demonstrations at Scale

📄 arXiv: 2606.13497 📥 PDF

作者: Nils Blank, Paul Mattes, Maximilian Xiling Li, Jakub Suliga, Thomas Roth, Moritz Reuss, Pankhuri Vanjani, Rudolf Lioutikov

分类: cs.RO, cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出SPARC框架以解决机器人演示标注可靠性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人演示 空间标注 可靠性校准 时空结构 物体定位 任务分解 自动化标注 基准测试

📋 核心要点

  1. 现有的自动化标注管道缺乏可靠的质量信号，导致标注的准确性无法得到保障。
  2. SPARC框架通过利用机器人任务的时空结构生成可靠性信号，从而提高标注的可靠性。
  3. 在1.7k个人工标注的演示中，SPARC在定位准确性上显著优于基线，同时保留了更多高质量样本。

📝 摘要（中文）

本研究提出了空间标注与可靠性校准的机器人演示框架SPARC，该框架能够自动为机器人演示生成结构化空间标注，并为每个标注分配可靠性评分。现有的自动化标注管道缺乏可靠的质量信号，导致在接受噪声标签与丢弃有用样本之间的选择。SPARC利用机器人任务固有的时空结构生成可靠性信号，从而减少噪声标签并保留更多有用样本。此外，我们还引入了交互感知基准IA-Bench，用于评估模型在机器人演示中定位交互对象的准确性。实验结果表明，SPARC在定位准确性上显著优于仅基于检测的基线，同时在高精度操作点保留了三倍以上的样本。

🔬 方法详解

问题定义：本论文旨在解决现有机器人演示标注方法中缺乏可靠性信号的问题。现有方法的检测器信心与标注正确性之间的校准较差，导致研究者在接受噪声标签与丢弃有用样本之间面临困境。

核心思路：SPARC框架的核心思路是利用机器人任务的时空结构生成可靠性信号，从而减少噪声标签并保留更多有用样本。这种方法通过对标注进行可靠性校准，提升了标注的质量和实用性。

技术框架：SPARC的整体架构包括数据采集、标注生成和可靠性评分三个主要模块。首先，通过机器人演示收集数据，然后生成结构化空间标注，最后为每个标注分配可靠性评分。

关键创新：SPARC的主要创新在于引入了可靠性校准机制，利用时空结构生成可靠性信号。这与现有方法的本质区别在于，现有方法通常依赖于检测器的置信度，而SPARC则通过分析任务的时空特性来提升标注的准确性。

关键设计：在设计上，SPARC采用了多种结构化空间标注形式，如边界框、物体轨迹和操作阶段标签。损失函数的设计考虑了标注的可靠性评分，以优化模型的训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在1.7k个人工标注的演示中，SPARC在定位准确性上显著优于仅基于检测的基线，保留了三倍以上的高质量样本。此外，基于SPARC生成的标注训练的模型在物体定位和指向基准测试中达到了最先进的结果，显示出其在空间推理任务中的竞争力。

🎯 应用场景

SPARC框架在机器人领域具有广泛的应用潜力，尤其是在训练基于视觉的机器人策略、运动规划和任务分解等方面。通过提供高质量的空间标注，SPARC能够帮助研究人员和工程师更有效地开发和优化机器人系统，提升其在复杂环境中的表现。

📄 摘要（原文）

This work introduces Spatial Annotations from Robot Demonstrations with Reliability Calibration (SPARC), a risk-aware framework that automatically labels robot demonstrations with structured spatial annotations and assigns each annotation a reliability score. Structured spatial annotations, such as bounding boxes, object trajectories, and manipulation phase labels, benefit a broad range of robotics applications from training grounded robot policies and embodied foundation models to motion planning and hierarchical task composition. Existing automated pipelines generate such annotations at scale but provide no reliable quality signal: detector confidence is poorly calibrated for annotation correctness, forcing a choice between accepting noisy labels or discarding useful samples. In contrast to existing automated pipelines, SPARC leverages the spatio-temporal structure inherent to robot tasks to generate a reliability signal, reducing noisy labels and retaining more useful samples. We further introduce Interaction-Aware Bench (IA-Bench), a benchmark that measures model accuracy in grounding the locations of interacted objects in robot demonstrations. On 1.7k human-annotated demonstrations spanning diverse embodiments and scenarios, SPARC significantly outperforms detection-only baselines in localization accuracy while retaining three times more samples at high-precision operating points. Our experiments demonstrate that models finetuned on our annotations achieve state-of-the-art results on object-grounding and pointing benchmarks among similarly sized models, while remaining competitive on broader spatial-reasoning suites without manually verified or annotated training data. Furthermore, policies trained on SPARC-generated annotations outperform baselines in cluttered, visually ambiguous real-world scenes. Code, data, and models are available atthis http URL.