DualWorldBench: Can Agents Plan Deliveries across Symbolic and Grounded Worlds?
作者: Yang Chen, Bin Wen, Danyang Peng, Hong-Jie You, Zi-Qiao Shang, Lan-Zhe Guo
分类: cs.AI
发布日期: 2026-11-03
💡 一句话要点
提出DualWorldBench以解决多目标规划中的感知与推理整合问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态智能体 规划评估 符号推理 基础路径规划 感知与推理整合
📋 核心要点
- 现有方法在多目标规划中面临感知与推理整合不足的问题，导致智能体在复杂任务中表现不佳。
- 本文提出DualWorldBench，通过三个组件评估智能体在符号和基础世界中的规划能力，旨在提升感知与推理的整合性。
- 实验结果表明，智能体在处理时间约束和生成可行行动序列方面存在显著不足，强调了该领域的研究需求。
📝 摘要（中文）
近年来，多模态智能体在具身规划和网络交互方面取得了显著进展。然而，现有评估往往依赖于简化任务，导致不清楚当前智能体是否能在时间、物理和多模态约束下有效整合感知与推理。为此，本文提出了DualWorldBench，一个统一的基准，用于在受控的符号-时间和基础-拓扑复杂性下评估智能体规划。DualWorldBench由三个互补组件构成：TextWorld、SimWorld和DualWorld-VQA。实验结果显示，智能体在局部理解与全局一致规划之间存在明显差距，揭示了将符号或基础证据组合成全球可行且高效的多目标计划的核心挑战。
🔬 方法详解
问题定义：本文旨在解决现有智能体在多目标规划中感知与推理整合不足的问题。现有方法通常在简化任务上进行评估，未能充分测试智能体在复杂环境中的表现。
核心思路：论文提出DualWorldBench基准，旨在通过受控的符号和基础复杂性评估智能体的规划能力，促进感知与推理的有效整合。
技术框架：DualWorldBench包含三个主要模块：TextWorld用于符号规划，SimWorld用于基础路径规划，DualWorld-VQA用于诊断感知和场景理解。每个模块针对不同的复杂性进行评估。
关键创新：最重要的创新在于DualWorldBench的设计，它结合了符号和基础世界的复杂性，提供了一个全面的评估平台，区别于以往仅关注单一维度的评估方法。
关键设计：在设计中，TextWorld关注任务组合和释放动态，SimWorld则控制拓扑变化，DualWorld-VQA则涵盖感知和规划的诊断，确保全面评估智能体的能力。实验中使用的损失函数和网络结构细节未详细披露，标记为未知。
🖼️ 关键图片
📊 实验亮点
实验结果显示，智能体在TextWorld中难以在交互时间约束下推导出最佳任务序列，而在SimWorld中，基础观察未能可靠地转化为可行的行动序列。这些发现强调了感知与规划之间的整合需求。
🎯 应用场景
该研究的潜在应用领域包括智能物流、自动驾驶和机器人导航等，能够为多目标任务的规划提供更高效的解决方案。通过提升智能体在复杂环境中的表现，未来可能推动智能体在实际应用中的广泛采用。
📄 摘要（原文）
Recent multimodal agents have shown promising progress in embodied planning and web interaction. However, existing evaluations often rely on simplified tasks with limited combinatorial structure, leaving it unclear whether current agents can robustly integrate perception and reasoning for multi-goal planning under temporal, physical, and multimodal constraints. We introduce DualWorldBench, a unified benchmark for evaluating agent planning under controlled symbolic--temporal and grounded--topological complexity. Built around a shared pickup--delivery interface, DualWorldBench consists of three complementary components: TextWorld, which isolates symbolic planning under varying task compositions and release dynamics; SimWorld, which evaluates grounded path planning under controlled topological variation with text, image, or multimodal inputs; and DualWorld-VQA, a diagnostic suite spanning perception, scene understanding, and planning. Experiments reveal a common gap between local understanding and globally consistent planning. In TextWorld, agents struggle to derive optimal task sequences under interacting temporal constraints; in SimWorld, grounded observations are not reliably converted into feasible action sequences. DualWorld-VQA further confirms that perception and topology understanding do not necessarily translate into constrained planning. Together, these results identify the central challenge as composing symbolic or grounded evidence into globally feasible and efficient multi-goal plans. These findings establish DualWorldBench as a challenging testbed for agents with tighter perception--reasoning--planning integration. All datasets and code are publicly available at our project website https://dualworld.netlify.app/.