Sequential Planning via Anchored Robotic Keypoints
作者: Bryce Grant, Aryeh Rothenberg, Logan Senning, Zonghe Chua, Zach Patterson, Peng Wang
分类: cs.RO
发布日期: 2026-06-29
备注: 29 pages, 14 figures
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出SPARK以解决机器人操作中的感知与规划问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 神经符号系统 感知与规划 行为树 训练-free 多任务处理 智能机器人 自动化
📋 核心要点
- 现有方法在面对位置和任务变化时，感知层的失败率较高，导致整体操作效率低下。
- SPARK通过将感知和规划模块分离，采用锚定关键点的方法，减少了对LLM的依赖，提高了操作的灵活性和效率。
- 实验结果显示，SPARK在多个任务上达到了43.7%的成功率，显著优于CaP-Agent0和VLA基线，展现了其强大的实用性。
📝 摘要（中文）
我们提出了基于锚定机器人关键点的顺序规划系统SPARK，这是一个无需训练的神经符号操作系统，在六个LIBERO-PRO位置和任务单元上达到了43.7%的成功率，超过了CaP-Agent0和视觉语言行动（VLA）基线的两倍。CaP-Agent0作为一个多轮代码生成代理，在每轮都重新查询大型语言模型（LLM），但其从头开始的解决方案在面对小的策略失败时成本高昂。SPARK将计算资源集中在感知层，利用单次Gemini调用将计划构建为可组合原语的类型行为树，每个原语已经包含低级控制功能。SPARK在三种机器人家族（UR10e、Franka FR3、双手Franka）上运行相同的原语，平均成功率达到68%。
🔬 方法详解
问题定义：论文要解决的问题是机器人在执行复杂任务时，感知和规划模块的效率低下，尤其是在位置和任务变化时的失败率较高。现有方法如CaP-Agent0在每轮都需重新查询LLM，导致成本高昂且效率低下。
核心思路：SPARK的核心思路是通过锚定关键点来构建一个无需训练的神经符号操作系统，集中计算资源于感知层，并通过单次Gemini调用生成类型行为树，减少对低级控制的重复生成。
技术框架：SPARK的整体架构包括感知、规划和控制三个模块。感知模块负责对象检测和提示生成，规划模块生成行为树，控制模块执行具体操作。每个模块可以独立更换而无需重新训练。
关键创新：SPARK的主要创新在于其训练-free的设计，能够在不依赖LLM的情况下，通过有效的感知和规划策略实现高效操作。这与现有方法的依赖性形成了鲜明对比。
关键设计：SPARK使用Gemini调用生成行为树，并通过SAM3评估每个对象的提示，选择最自信的提示-标签对。还设计了恢复循环机制，以便在失败时重新尝试操作，确保系统的鲁棒性。每次实验记录经过验证的标记轨迹，为后续的策略优化提供数据支持。
🖼️ 关键图片
📊 实验亮点
SPARK在六个LIBERO-PRO位置和任务单元上达到了43.7%的成功率，显著超过了CaP-Agent0（18.2%）和VLA基线，展示了其在多任务处理中的优越性能。通过采用替代提示和恢复循环，SPARK在空间和对象任务上分别提升了27.7和10.0点，整体提升了5.0点，展现了其强大的实用性和灵活性。
🎯 应用场景
SPARK的研究成果在机器人操作、自动化生产线和人机协作等领域具有广泛的应用潜力。其高效的感知与规划能力能够提升机器人在复杂环境中的适应性，减少人工干预，提高生产效率。未来，SPARK有望推动智能机器人在更多实际场景中的应用。
📄 摘要（原文）
We present Sequential Planning via Anchored Robotic Keypoints, SPARK, a training-free neurosymbolic manipulation system that reaches 43.7% on six LIBERO-PRO position \& task cells, more than doubling CaP-Agent0 and Vision-Language-Action (VLA) baselines. CaP-Agent0, a multi-turn code-generation agent, achieves 18.2% by re-querying an LLM at every turn, but its restart-from-scratch solution proves costly against minor policy failures. Perception is the layer that fails most under position and task changes so SPARK spends its computation there. A single Gemini call composes the plan as a typed behavior tree (BT) of composable primitives, each already containing the low-level control (motion, grasping, depth geometry) a code-generation agent would otherwise regenerate on every trial. The rest of the budget goes to perception: a second Gemini call proposes three alternative text prompts per object, SAM3 evaluates each, and we keep the prompt$\to$label pair with the most confident detection and a recovery loop then retries a failed primitive against freshly detected objects, with no new LLM call. The alternative prompts add +27.7 points on the spatial suite and +10.0 on the object suite, with the recovery loop adding +5.0 overall. SPARK runs the same primitives on three robot families (UR10e, Franka FR3, bimanual Franka) across nine unique tasks at twenty trials each, averaging 68%. Since the detector, planner, and controller modules sit behind the typed plan, they swap independently without training, and each primitive's checkable post-condition traces a failure to the corresponding module or a kinematic limit. Every trial logs a verified, labeled trajectory, so a training-free planner that already beats VLAs can supply the data those policies need without teleoperation. Project page: https://cwru-aism.github.io/spark-page/