Evidence-Gated Task and Motion Planning with Vision-Language Models

📄 arXiv: 2608.20084v1 📥 PDF

作者: Tsunehiko Tanaka, Matthew Stephenson, Alistair Macvicar, Edgar Simo-Serra

分类: cs.RO, cs.AI

发布日期: 2026-08-20

💡 一句话要点

提出EAFG框架以解决机器人任务规划中的不确定性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 任务规划 视觉语言模型 机器人技术 运动规划 可行性评估 自然语言处理 智能家居 服务机器人

📋 核心要点

  1. 现有方法在处理部分可观察性时，容易生成依赖于先验知识的子目标，导致执行失败。
  2. 本文提出EAFG框架，通过获取视觉证据来增强任务规划的可行性判断，避免不必要的操作。
  3. 实验结果显示，EAFG在烹饪任务中显著提高了配方完成率，并减少了对缺失对象的重复尝试。

📝 摘要（中文）

在自然语言指令下执行长时间操作任务的机器人必须同时考虑语义任务结构和几何可行性。然而，在部分可观察性下，目标相关对象的可用性可能不确定。现有方法结合视觉语言模型（VLMs）与任务与运动规划（TAMP）时，可能会生成依赖于VLM先验知识的子目标，导致执行失败或意外结果。为此，本文提出了证据获取与可行性门控（EAFG）框架，通过VLM生成的探索性子目标和基于TAMP的执行来获取视觉证据。EAFG应用可行性门控来决定是继续任务规划、获取更多证据还是停止。实验表明，在对象使用模糊的烹饪任务中，EAFG通过在规划前发现任务相关对象，提高了配方完成率。对于需要缺失对象的指令，EAFG促进了适当的停止决策，减少了对该对象的重复操作尝试。

🔬 方法详解

问题定义：本文旨在解决机器人在执行长时间操作任务时，由于部分可观察性导致的目标相关对象不确定性问题。现有方法在此情况下容易依赖视觉语言模型的先验知识，导致任务执行失败或意外结果。

核心思路：EAFG框架的核心思路是通过生成探索性子目标来获取视觉证据，从而增强任务规划的可行性判断。该设计旨在在不确定性较高的环境中，确保机器人能够做出更为合理的决策。

技术框架：EAFG框架主要包括三个模块：1) 通过VLM生成探索性子目标以获取视觉证据；2) 基于TAMP执行任务并评估可行性；3) 应用可行性门控机制，决定是否继续规划、获取更多证据或停止。

关键创新：EAFG的主要创新在于引入了可行性门控机制，使得机器人在面对不确定性时能够动态调整其任务规划策略。这一机制与传统方法的静态决策方式形成鲜明对比。

关键设计：在EAFG中，关键设计包括探索性子目标的生成策略、可行性评估的标准，以及如何在不同情况下选择合适的决策路径。这些设计确保了框架在复杂环境中的有效性和灵活性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，EAFG框架在烹饪任务中显著提高了配方完成率，具体提升幅度达到XX%（具体数据未知）。此外，对于缺失对象的指令，EAFG有效减少了重复尝试的次数，优化了任务执行流程。

🎯 应用场景

该研究的潜在应用领域包括智能家居、服务机器人和工业自动化等场景。在这些领域中，机器人需要根据自然语言指令执行复杂的操作任务，EAFG框架能够提高任务执行的成功率和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Robots executing long-horizon manipulation tasks from natural-language instructions must reason about both semantic task structure and geometric feasibility. However, under partial observability, the availability of goal-relevant objects may be uncertain. In such cases, approaches that combine Vision-Language Models (VLMs) with Task and Motion Planning (TAMP) may generate subgoals that rely on the VLM's prior knowledge without observational support, leading to execution failures or unintended outcomes. We propose Evidence Acquisition and Feasibility Gating (EAFG), a framework that acquires visual evidence through VLM-generated exploratory subgoals and TAMP-based execution. EAFG then applies a feasibility gate to decide whether to proceed with task planning, acquire further evidence, or halt. Our experiments show that, in cooking tasks with ambiguous object use, EAFG improves recipe completion by discovering task-relevant objects before planning. For instructions requiring an absent object, EAFG promotes appropriate halt decisions and reduces repeated attempts to manipulate that object.