SPARC: Reliable Spatial Annotations from Robot Demonstrations at Scale
作者: Nils Blank, Paul Mattes, Maximilian Xiling Li, Jakub Suliga, Thomas Roth, Moritz Reuss, Pankhuri Vanjani, Rudolf Lioutikov
分类: cs.RO, cs.CV
发布日期: 2026-06-11
💡 一句话要点
提出SPARC框架以解决机器人演示标注可靠性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人演示 空间标注 可靠性评分 时空结构 自动化标注 深度学习 物体定位 人机交互
📋 核心要点
- 现有的自动化标注方法缺乏可靠的质量信号，导致噪声标签的产生和有用样本的丢弃。
- SPARC框架通过风险感知的方法，利用机器人任务的时空结构生成可靠性评分，从而提高标注的准确性。
- 在实验中，SPARC在1.7k个演示上显著提升了定位准确性，并在复杂场景中表现优于基线方法。
📝 摘要（中文）
本文介绍了一种名为SPARC的框架，该框架通过风险感知的方法自动为机器人演示生成结构化空间标注，并为每个标注分配可靠性评分。结构化空间标注（如边界框、物体轨迹和操作阶段标签）在训练机器人策略、运动规划和任务分解等多种机器人应用中具有重要意义。现有的自动化标注流程虽然能够大规模生成标注，但缺乏可靠的质量信号，导致在接受噪声标签和丢弃有用样本之间的选择。SPARC通过利用机器人任务固有的时空结构生成可靠性信号，从而减少噪声标签并保留更多有用样本。此外，本文还引入了IA-Bench基准，评估模型在机器人演示中定位交互对象的准确性。在1.7k个人工标注的演示中，SPARC在定位准确性上显著优于仅依赖检测的基线，同时在高精度操作点保留了三倍的样本。
🔬 方法详解
问题定义：本文旨在解决现有自动化标注流程中缺乏可靠性信号的问题，导致生成的标注质量不稳定，影响后续机器人任务的执行效果。
核心思路：SPARC框架通过分析机器人任务的时空结构，生成每个标注的可靠性评分，从而有效减少噪声标签，保留更多有用的标注数据。
技术框架：SPARC的整体架构包括数据采集、标注生成、可靠性评估和输出模块。首先，收集机器人演示数据，然后生成初步标注，接着通过时空分析为每个标注分配可靠性评分，最后输出结构化的标注结果。
关键创新：SPARC的主要创新在于引入了可靠性评分机制，利用时空结构信息来提高标注的准确性和可靠性，这与传统的仅依赖检测器信心值的方式有本质区别。
关键设计：在设计中，SPARC采用了特定的损失函数来优化标注的准确性，并结合深度学习模型进行标注生成，确保生成的标注在多样化场景下的适应性和准确性。通过对模型进行微调，进一步提升了在物体定位和指向基准测试中的表现。
🖼️ 关键图片
📊 实验亮点
在实验中，SPARC在1.7k个人工标注的演示上显著提升了定位准确性，超越了仅依赖检测的基线方法，同时在高精度操作点保留了三倍的样本。经过微调的模型在物体定位和指向基准测试中达到了最先进的结果，展示了SPARC在复杂场景中的优越性能。
🎯 应用场景
SPARC框架在机器人领域具有广泛的应用潜力，特别是在需要高精度空间标注的任务中，如机器人抓取、导航和人机交互等。其可靠性评分机制能够为机器人提供更准确的环境理解，进而提升其自主决策能力。未来，SPARC的技术可以扩展到其他领域，如自动驾驶和智能制造，推动相关技术的发展。
📄 摘要（原文）
This work introduces Spatial Annotations from Robot Demonstrations with Reliability Calibration (SPARC), a risk-aware framework that automatically labels robot demonstrations with structured spatial annotations and assigns each annotation a reliability score. Structured spatial annotations, such as bounding boxes, object trajectories, and manipulation phase labels, benefit a broad range of robotics applications from training grounded robot policies and embodied foundation models to motion planning and hierarchical task composition. Existing automated pipelines generate such annotations at scale but provide no reliable quality signal: detector confidence is poorly calibrated for annotation correctness, forcing a choice between accepting noisy labels or discarding useful samples. In contrast to existing automated pipelines, SPARC leverages the spatio-temporal structure inherent to robot tasks to generate a reliability signal, reducing noisy labels and retaining more useful samples. We further introduce Interaction-Aware Bench (IA-Bench), a benchmark that measures model accuracy in grounding the locations of interacted objects in robot demonstrations. On 1.7k human-annotated demonstrations spanning diverse embodiments and scenarios, SPARC significantly outperforms detection-only baselines in localization accuracy while retaining three times more samples at high-precision operating points. Our experiments demonstrate that models finetuned on our annotations achieve state-of-the-art results on object-grounding and pointing benchmarks among similarly sized models, while remaining competitive on broader spatial-reasoning suites without manually verified or annotated training data. Furthermore, policies trained on SPARC-generated annotations outperform baselines in cluttered, visually ambiguous real-world scenes. Code, data, and models are available at intuitive-robots.github.io/sparc-labeling.