RoboAuto: Autonomous Robot Program Search through Multi-Level Physical Understanding
作者: Buzhao Liu, Jianing Ye, Xiu Yuan, Yangtong Feng, Chengsong Huang, Tyler Dinh, Yevgeniy Vorobeychik, Ning Zhang, Chongjie Zhang
分类: cs.RO, cs.AI, cs.CL, cs.CV, cs.LG
发布日期: 2026-10-27
备注: Project page: https://roboauto-ai.github.io/
💡 一句话要点
提出RoboAuto以解决机器人程序搜索中的物理理解问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人程序搜索 物理理解 层次化知识库 场景定位 多阶段规划 自主机器人 执行反馈
📋 核心要点
- 现有方法在机器人程序搜索中主要依赖执行反馈，无法有效解决物理理解问题。
- RoboAuto通过建立层次化知识库、场景定位和多阶段规划来增强物理理解，提升程序搜索能力。
- RoboAuto在多个基准任务中表现优异，成功率显著高于现有方法，展示了其有效性和可扩展性。
📝 摘要（中文）
近年来，基于大语言模型的自主代理在生成、评估和优化可执行解决方案方面表现出强大的能力。在机器人操作中，Code-as-Policy使这些代理能够搜索模块化和可编辑的机器人程序。然而，有效的程序搜索需要物理理解：代理必须理解如何操控物体、场景几何如何限制动作，以及交互成功或失败的原因。现有方法主要依赖执行反馈进行程序优化，往往无法解决这些物理问题。我们提出了RoboAuto，一个通过三个组件在物体、场景和交互层面明确组织物理理解的机器人程序搜索框架。RoboAuto在五个基准任务中表现优异，在短期LIBERO-PRO任务上成功率达到89.1%，在LIBERO-PRO Long和LIBERO-Plus上成功率超过ASPIRE的两倍。我们还展示了知识库在不同模拟器和实体间的迁移能力，以及程序搜索性能与知识库规模的关系。
🔬 方法详解
问题定义：论文要解决的问题是如何在机器人程序搜索中有效地整合物理理解。现有方法主要依赖执行反馈，导致物理交互的理解不足，影响程序优化效果。
核心思路：RoboAuto的核心思路是通过建立层次化知识库、场景定位和多阶段规划来增强机器人对物理世界的理解，从而提高程序搜索的效率和成功率。
技术框架：RoboAuto的整体架构包括三个主要模块：层次化知识库、场景定位和多阶段规划。知识库结合可执行技能与物体中心的知识，场景定位则将这些知识与当前环境连接，而多阶段规划通过自设计实验验证每个阶段的物理效果。
关键创新：RoboAuto的关键创新在于其明确的物理理解层次化组织，尤其是在物体、场景和交互层面上的综合考虑，与现有方法相比，能够更全面地解决物理不确定性问题。
关键设计：在设计上，知识库的构建基于从具体任务中学习的经验，场景定位通过识别相关物体和解析关键量来实现，而多阶段规划则通过实验验证物理效果，确保每个阶段的有效性。具体的参数设置和损失函数设计在论文中进行了详细讨论。
🖼️ 关键图片
📊 实验亮点
RoboAuto在五个基准任务中表现出色，短期LIBERO-PRO任务的成功率达到89.1%，在LIBERO-PRO Long和LIBERO-Plus上成功率超过ASPIRE的两倍。此外，在三个具有挑战性的长时间真实机器人任务中，RoboAuto也优于ASPIRE和$π_{0.5}$，展示了其在精确操作中的优势。
🎯 应用场景
RoboAuto的研究成果在机器人操作、自动化制造、智能家居等领域具有广泛的应用潜力。通过提升机器人对物理世界的理解，能够实现更复杂的操作任务，推动自主机器人技术的发展，提升其在实际应用中的效率和可靠性。
📄 摘要（原文）
Recently, LLM-based autonomous agents have shown strong capabilities in iteratively generating, evaluating, and refining executable solutions. In robotic manipulation, Code-as-Policy lets these agents search over modular and editable robot programs. However, effective program search requires physical understanding: agents must understand how objects can be manipulated, how scene geometry constrains actions, and why interactions succeed or fail. Existing methods rely mainly on execution feedback for program refinement, often leaving these physical questions unresolved. We introduce RoboAuto, a framework for robot program search that explicitly organizes physical understanding at the object, scene, and interaction levels through three components. First, a hierarchical knowledge base combines executable skills with object-centric knowledge of affordances, spatial relations, and action effects, learned from embodied data and online task solving. Second, scene grounding connects this knowledge to the current environment by identifying relevant objects and resolving action-critical quantities. Third, multi-stage planning with self-designed experiments checks whether each stage produces its expected physical effects and actively tests competing hypotheses to resolve physical uncertainties. RoboAuto achieves superior performance across five benchmark families, attaining an 89.1% success rate on short-horizon LIBERO-PRO tasks and more than twice the mean success rate of ASPIRE on LIBERO-PRO Long and LIBERO-Plus. It also outperforms ASPIRE and $π_{0.5}$ on three challenging long-horizon real-robot tasks requiring precise manipulation. We further show that the knowledge base transfers across simulators and embodiments, and that program search performance scales with its size. Project page: https://roboauto-ai.github.io/