Plan Along the Way: Event-Triggered Foundation-Model Planning for TAMP Execution in Partially Observable Manipulation

📄 arXiv: 2608.28075v1 📥 PDF

作者: Puru Ojha, Narendhiran Vijayakumar, Nav Singhal, Girish Varma, Antony Thomas

分类: cs.RO

发布日期: 2026-08-28

备注: 8 pages, 4 figures

💡 一句话要点

提出ROBUST TAMP以解决部分可观测环境中的任务与运动规划问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 任务与运动规划 部分可观测环境 动态重规划 基础模型 机器人操作 智能系统 反应式规划

📋 核心要点

  1. 现有的TAMP系统在部分可观测环境中面临挑战，无法有效处理动态变化的场景信息。
  2. 本文提出的ROBUST TAMP框架通过限制可见场景状态和将对象发现视为重规划事件来增强反应能力。
  3. 实验在多个厨房和烧烤变体上进行，结果显示该方法在任务成功率和重规划行为上优于现有基线。

📝 摘要（中文）

在部分可观测环境中进行操作需要在不完整场景信息下进行规划。在这种情况下，初始有效的计划可能成功执行但不足以完成任务。现有的基础模型引导的任务与运动规划（TAMP）系统通常假设能够访问完全指定的场景状态，或在子目标、细化或执行尝试失败后进行模型级重规划。本文提出了ROBUST TAMP，一个模块化的LLM/VLM引导的规划框架，旨在实现反应式TAMP，允许在执行过程中出现未见的任务相关和非目标对象。该框架将基础模型规划器限制在当前可见的关系场景状态，验证生成的任务级动作，并将接受的动作路由到场景特定的执行适配器。对象发现被视为一个独立的重规划事件，系统在稳定的执行时间后重建可见场景状态并使用已完成的动作历史和结构化的重规划事件上下文进行重规划。

🔬 方法详解

问题定义：本文旨在解决在部分可观测环境中进行任务与运动规划时，现有方法对场景状态的完全依赖及其在动态场景中重规划的不足。

核心思路：ROBUST TAMP框架通过将基础模型规划器限制在当前可见的场景状态，并将对象发现视为独立的重规划事件，从而提高了系统的反应能力和灵活性。

技术框架：该框架包括多个模块：基础模型规划器、任务级动作验证器和场景特定执行适配器。执行过程中，系统会监测场景状态的变化，并在必要时进行重规划。

关键创新：最重要的创新在于将对象发现视为重规划事件，并在执行过程中动态调整计划，这与传统方法的静态规划形成鲜明对比。

关键设计：系统设计中包括严格的可执行接口验证，确保生成的任务级动作符合执行要求，同时利用已完成的动作历史和上下文信息进行有效的重规划。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ROBUST TAMP在任务成功率和部分目标完成率上显著优于传统的文本仅LLM和VLM规划器，尤其在处理非目标对象发现和失败触发的重规划行为时表现出色，展示了更高的灵活性和效率。

🎯 应用场景

该研究在机器人操作、自动化制造和智能家居等领域具有广泛的应用潜力。通过提高在动态和不确定环境中的操作能力，ROBUST TAMP能够显著提升机器人在复杂任务中的表现，推动智能系统的实用化进程。

📄 摘要（原文）

Manipulation in partially observable environments requires planning under incomplete scene information. In such settings, an initially valid plan may execute successfully yet remain insufficient for task completion. Existing foundation-model-guided task and motion planning (TAMP) systems can generate useful long-horizon task decompositions, subgoals, or constraints, but they often assume having access to a fully specified scene state or invoke model-level replanning after a subgoal, refinement, or execution attempt fails. We present ROBUST TAMP, a modular LLM/VLM-guided planning framework for reactive TAMP where unseen task-relevant and non-target objects may become visible during execution. The framework restricts the foundation-model planner to the currently visible relational scene state, validates generated task-level actions against a strict executable interface, and routes the accepted actions to scene-specific execution adapters. Object discovery is treated as a distinct replanning event and, after a stable execution horizon, the system reconstructs the visible scene state and replans using completed-action history and structured replanning event context. Evaluations are performed on six RLBench/CoppeliaSim kitchen and grill variants involving hidden objects, non-target object discovery, articulated-container interaction, and temporal manipulation procedures. We compare text-only LLM and VLM planners of different sizes under the same validation, execution, monitoring, and replanning pipeline, reporting task success, partial goal completion, discovery- and failure-triggered replanning behavior, implicit non-target-object handling, and planner inference cost.