Decoupling Planning and Control for Instructable Agents
作者: Zineng Tang, Kelsey R. Allen, Sjoerd van Steenkiste, Ishita Dasgupta, Alane Suhr
分类: cs.AI, cs.CL, cs.MA, cs.RO
发布日期: 2026-08-27
备注: Published as a conference paper at COLM 2026. Project page: https://zinengtang.github.io/instruct-to-act/
💡 一句话要点
提出Instruct-to-Act以解决指令生成与执行的脱节问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 指令生成 世界模型 视觉-语言模型 自主控制 多智能体系统
📋 核心要点
- 现有方法在将高层次计划转化为低延迟动作序列时表现不佳，尤其是在不熟悉的环境中。
- 本文提出Instruct-to-Act系统，通过结合VLM规划器和世界模型控制器，实现高频自主动作。
- 在七个环境中的实验结果显示，该方法在性能上优于传统控制器和直接VLM生成的动作，且保持了快速控制能力。
📝 摘要（中文）
近期研究表明，经过预训练和指令调优的视觉-语言模型（VLMs）在将指令和观察映射到高层次计划方面表现良好，但在不熟悉环境中将这些计划转化为可靠的低延迟动作序列时存在困难。同时，世界模型控制器在快速观察到动作控制方面表现优异，但缺乏开放式任务指导。本文提出了一种结合这两者优势的系统Instruct-to-Act，通过训练世界模型控制器在稀疏、高延迟和高层次文本指令的条件下自主高频动作。我们通过合成指令重新标记控制器策略的回放段，并联合优化行为克隆目标与现有的奖励最大化和世界建模目标。实验结果表明，该方法在七个环境中表现优于控制器单一和直接VLM动作生成变体，保持快速控制，并允许在不微调的情况下更换不同的预训练VLM规划器。
🔬 方法详解
问题定义：本文旨在解决指令生成与执行之间的脱节问题。现有的VLM在生成高层次计划时表现良好，但在将这些计划转化为实际动作时，尤其是在不熟悉的环境中，效率和可靠性不足。
核心思路：提出Instruct-to-Act系统，通过训练世界模型控制器，使其能够在稀疏的高层次文本指令下进行高频自主动作，从而实现指令与执行的有效结合。
技术框架：该系统主要包括两个模块：VLM规划器和世界模型控制器。VLM规划器负责生成高层次的指令，而世界模型控制器则根据这些指令进行快速的观察到动作控制。
关键创新：最重要的创新在于将控制器的策略回放段与合成指令进行重新标记，并联合优化行为克隆目标与奖励最大化目标。这种方法使得控制器能够在语言指令的指导下进行自主控制。
关键设计：在训练过程中，采用了合成指令的重新标记策略，并设计了联合优化的损失函数，结合了行为克隆和奖励最大化目标，以提升控制器的语言指令适应能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Instruct-to-Act在七个环境中均表现优于控制器单一和直接VLM动作生成变体，尤其在六个任务中与强基线相比保持竞争力，展现出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、智能助手和多智能体系统等。通过有效结合指令生成与执行，Instruct-to-Act能够提升机器人在复杂环境中的自主决策能力，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Recent work shows that pre-trained, instruction-tuned vision-language models (VLMs) perform well at mapping from instructions and observations to high-level plans, but struggle to realize such plans as reliable low-latency action sequences in unfamiliar environments. At the same time, world-model controllers excel at fast observation-to-action control, but lack open-ended task guidance. In this work, we combine these strengths into a single system, Instruct-to-Act, where we train a world-model controller to act autonomously at high frequency when conditioned on sparse, higher-latency, and high-level text instructions generated by a VLM planner. To train controllers to be language-instructable, we relabel segments of controller policy rollouts with synthetic instructions and jointly optimize a behavior-cloning objective along with existing reward-maximizing and world-modeling objectives. We evaluate our proposed approach across seven embodied environments, including three multi-agent environments where VLM planners coordinate through language while trained controllers serve as their actuators. Under matched observation and action spaces, our decoupled approach consistently outperforms controller-only and direct VLM action-generation variants, preserves fast control, and lets us swap in different pretrained VLM planners without fine-tuning, while remaining competitive with strong vision-language-action and multi-agent RL baselines on six of seven tasks.