Maestro: Orchestrating Robotics Modules with Vision-Language Models for Zero-Shot Generalist Robots

📄 arXiv: 2511.00917v2 📥 PDF

作者: Junyao Shi, Rujia Yang, Kaitian Chao, Selina Bingqing Wan, Yifei Shao, Jiahui Lei, Jianing Qian, Long Le, Pratik Chaudhari, Kostas Daniilidis, Chuan Wen, Dinesh Jayaraman

分类: cs.RO, cs.AI

发布日期: 2025-11-02 (更新: 2025-11-18)

备注: Plan to resubmit after significant revisions

💡 一句话要点

Maestro：利用视觉-语言模型编排机器人模块，实现零样本通用机器人

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 通用机器人 视觉-语言模型 机器人模块化 零样本学习 动态策略 机器人操作 代码生成

📋 核心要点

  1. 现有通用机器人方法依赖大规模数据集训练端到端模型，成本高昂且泛化性受限。
  2. Maestro通过VLM编码代理动态组合感知、规划和控制模块，构建程序化策略。
  3. 实验表明，Maestro在零样本操作技能上超越现有VLA模型，并易于扩展和适应。

📝 摘要（中文）

当前通用机器人研究主要集中于收集大规模“观测-动作”机器人数据集，以训练大型端到端模型，这与视觉-语言模型（VLM）的成功路径类似。本文探索了一条不同的道路：通过精心设计的感知、规划和控制模块来增强VLM的通用能力，从而直接围绕VLM构建通用策略。在Maestro中，VLM编码代理动态地将这些模块组合成针对当前任务和场景的程序化策略。Maestro的架构受益于简化的闭环接口，没有过多的人工结构约束，以及全面而多样化的工具库。因此，它在具有挑战性的操作技能的零样本性能方面大大超过了当前的VLA模型。此外，Maestro易于扩展以集成新模块，易于编辑以适应新的机器人形态（例如安装在四足机器人上的手臂），甚至可以通过局部代码编辑从最少的真实世界经验中轻松适应。

🔬 方法详解

问题定义：现有通用机器人方法主要依赖于收集大量“观测-动作”数据来训练端到端模型。这种方法存在数据收集成本高昂、模型泛化能力有限等问题，难以适应复杂多变的任务环境。此外，端到端模型的可解释性较差，难以进行调试和优化。

核心思路：Maestro的核心思路是利用视觉-语言模型（VLM）的强大通用能力，并将其与机器人领域特定的感知、规划和控制模块相结合。通过VLM作为编码代理，动态地将这些模块组合成程序化的策略，从而实现对不同任务和场景的零样本泛化。这种方法避免了对大规模数据集的依赖，提高了模型的可解释性和可维护性。

技术框架：Maestro的整体架构包含以下几个主要模块：1) 视觉-语言模型（VLM）：作为编码代理，负责理解任务指令并生成相应的代码。2) 感知模块：负责从环境中提取有用的信息，例如目标的位置、形状等。3) 规划模块：根据感知信息和任务指令，生成一系列的动作序列。4) 控制模块：负责执行规划模块生成的动作序列，控制机器人完成任务。这些模块通过一个简化的闭环接口进行交互，VLM根据当前状态动态调整模块的组合方式。

关键创新：Maestro最重要的技术创新在于其动态模块组合机制。与传统的固定结构的机器人控制系统不同，Maestro可以根据任务的需求，灵活地选择和组合不同的模块。这种动态性使得Maestro能够适应各种不同的任务和场景，实现真正的通用机器人。此外，Maestro还采用了基于代码的策略表示方法，使得策略更加易于理解、编辑和扩展。

关键设计：Maestro的关键设计包括：1) VLM的选择：选择了具有强大通用能力的VLM，例如GPT-3等。2) 模块的封装：将感知、规划和控制模块封装成易于调用的API。3) 代码生成：VLM生成的代码需要符合一定的语法规范，以便能够正确地调用各个模块。4) 闭环控制：通过闭环控制机制，不断地根据环境反馈调整策略。

📊 实验亮点

Maestro在多个具有挑战性的操作技能上进行了零样本实验，结果表明其性能大大超过了当前的VLA模型。具体来说，Maestro在抓取、放置、堆叠等任务上的成功率显著高于基线模型。此外，Maestro还展示了其易于扩展和适应的特性，通过简单的代码编辑，即可将其应用于新的机器人形态和任务。

🎯 应用场景

Maestro具有广泛的应用前景，例如在智能制造、家庭服务、医疗健康等领域。它可以用于执行各种复杂的机器人操作任务，例如物品抓取、装配、清洁等。由于其易于扩展和适应的特性，Maestro还可以应用于各种不同的机器人平台，例如机械臂、移动机器人、无人机等。未来，Maestro有望成为通用机器人的核心技术之一，推动机器人技术的进一步发展。

📄 摘要（原文）

Today's best-explored routes towards generalist robots center on collecting ever larger "observations-in actions-out" robotics datasets to train large end-to-end models, copying a recipe that has worked for vision-language models (VLMs). We pursue a road less traveled: building generalist policies directly around VLMs by augmenting their general capabilities with specific robot capabilities encapsulated in a carefully curated set of perception, planning, and control modules. In Maestro, a VLM coding agent dynamically composes these modules into a programmatic policy for the current task and scenario. Maestro's architecture benefits from a streamlined closed-loop interface without many manually imposed structural constraints, and a comprehensive and diverse tool repertoire. As a result, it largely surpasses today's VLA models for zero-shot performance on challenging manipulation skills. Further, Maestro is easily extensible to incorporate new modules, easily editable to suit new embodiments such as a quadruped-mounted arm, and even easily adapts from minimal real-world experiences through local code edits.