Neurosymbolic Embodied Agents
作者: Mohammad Albinhassan, Yuming Feng, Alessandra Russo, Pranava Madhyastha
分类: cs.RO, cs.AI, cs.CL
发布日期: 2026-08-17
💡 一句话要点
提出神经符号体代理以解决可执行计划生成问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 神经符号代理 可执行计划 视觉探索 符号规划 蒙特卡洛树搜索 家庭任务 多模态学习
📋 核心要点
- 现有的语言和视觉模型生成的计划可能无法在真实环境中执行，存在违反环境动态的风险。
- 本文提出的神经符号代理通过将任务分解为视觉探索和符号规划，确保生成的计划具备可执行性。
- 实验结果表明，所提方法在VirtualHome和ALFWorld环境中成功率超过90%，且在资源使用上显著优于现有方法。
📝 摘要（中文）
语言和视觉-语言模型能够生成合理的体代理计划，但并不保证其可执行性，因为输出可能违反环境动态或作用于错误的实体。本文提出了一种神经符号代理，将长时间的家庭任务分解为任务导向的视觉探索和受限的符号规划。在第一阶段，视觉-语言模型和探索获取器从自我中心观察和基础交互中提取与目标相关的谓词和实例绑定，生成符号初始状态。在第二阶段，PDDL转移模型限制解码为扩展适用动作的标记。蒙特卡洛树搜索随后使用领域无关的规划启发式评估可执行的延续。生成的计划在转移模型下是可执行的，环境的转移依赖于正确的视觉基础。在VirtualHome和ALFWorld上，开放的4B-27B模型在两个环境中均超过90%的成功率，而我们最小的代理在每个环境中显著超越了27B直接视觉策略。
🔬 方法详解
问题定义：本文旨在解决现有语言和视觉模型生成的计划在实际执行中可能出现的不可行性问题，尤其是环境动态和实体绑定错误的挑战。
核心思路：通过将长时间的家庭任务分解为两个阶段，首先进行视觉探索以获取目标相关信息，然后进行符号规划以生成可执行的计划，从而提高计划的可行性。
技术框架：整体架构分为两个主要阶段：第一阶段利用视觉-语言模型和探索获取器提取符号初始状态，第二阶段使用PDDL转移模型和蒙特卡洛树搜索评估可执行的计划。
关键创新：最重要的创新在于结合了视觉探索与符号规划，确保生成的计划在转移模型下是可执行的，这与传统方法的直接生成计划方式有本质区别。
关键设计：在技术细节上，采用PDDL转移模型限制解码过程，使用领域无关的规划启发式进行蒙特卡洛树搜索，确保生成的计划在资源使用上高效且可行。
🖼️ 关键图片
📊 实验亮点
实验结果显示，开放的4B-27B模型在VirtualHome和ALFWorld环境中成功率超过90%，而最小的代理在每个环境中显著超越了27B直接视觉策略。此外，结合约束和搜索的方式使得任务解决率超过95%，而单独使用时仅能解决三分之一的任务。
🎯 应用场景
该研究的潜在应用领域包括家庭机器人、智能家居系统以及其他需要长时间任务规划的自动化系统。通过提高计划的可执行性，能够显著提升机器人在复杂环境中的自主决策能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Language and vision-language models generate plausible embodied plans but do not guarantee executability, as their outputs can violate environment dynamics or act on incorrectly grounded entities. We present a neurosymbolic agent that factors long-horizon household tasks into task-directed visual exploration and constrained symbolic planning. In the first phase, a vision-language model and exploration harness acquire goal-relevant predicates and instance bindings from egocentric observations and grounded interactions, producing a symbolic initial state. In the second, a PDDL transition model restricts decoding to tokens that extend applicable actions. Monte Carlo tree search then evaluates executable continuations using a domain-independent planning heuristic. The resulting plans are executable by construction under the transition model, with transfer to the environment conditioned on correct visual grounding. On VirtualHome and ALFWorld, open 4B-27B models exceed 90% success in both environments, and our smallest agent substantially outperforms a 27B direct visual policy in each. Constraints and search prove complementary rather than interchangeable: in ALFWorld either alone solves under a third of tasks, whereas their combination solves over 95%. The method also uses several times fewer generated tokens than extended thinking and far fewer model-visible images than direct interaction, and residual failures localize to state acquisition rather than plan generation without any specialized training.