HEART: Coordination of Heterogeneous Expert Agents for Physically Grounded Robotic Task Planning
作者: Junho Lee, Seabin Lee, Wonjong Lee, Nayoung Kim, Moonjeong Kang, Changjoo Nam
分类: cs.RO
发布日期: 2026-06-24
备注: 9 pages, 3 figures
💡 一句话要点
提出HEART框架以解决机器人任务规划中的物理约束问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人任务规划 大型语言模型 异构代理 物理约束 计划合成 智能家居 自动化服务
📋 核心要点
- 现有的基于LLM的机器人任务规划方法缺乏对物理约束的有效处理，导致生成的计划往往无效或不完整。
- HEART框架通过将指令分解为原子推理任务，并分配给角色专门的专家代理，从而实现更高效的任务规划。
- 实验结果显示，HEART在多个家庭基准测试中显著提高了计划成功率，相比于单一LLM和基于规则的规划器表现更优。
📝 摘要（中文）
大型语言模型（LLMs）能够处理复杂指令，但在满足机器人任务规划所需的物理和空间约束方面常常表现不佳。现有的基于LLM的规划器直接将文本翻译为动作序列，但缺乏对可行性、可达性和逻辑顺序的结构化推理，导致计划无效或不完整。本文提出了一种异构多LLM框架HEART，将指令分解为原子推理任务，并在实际计算和通信约束下，将其分配给角色专门的专家代理。通过结合异构代理的角色导向推理和约束驱动的计划合成，HEART在规划之前验证能力、可达性和约束条件，帮助生成可物理执行的计划，同时保持效率。实验结果表明，HEART在不同家庭基准测试中相比单一LLM和基于规则的规划器显著提高了计划成功率，证明了异构LLM协作在资源约束下实现稳健和可扩展的机器人任务规划的能力。
🔬 方法详解
问题定义：本文旨在解决现有基于大型语言模型（LLMs）的机器人任务规划方法在处理物理和空间约束时的不足，尤其是缺乏对可行性和逻辑顺序的结构化推理，导致生成的计划往往无效或不完整。
核心思路：HEART框架的核心思路是将复杂指令分解为多个原子推理任务，并将这些任务分配给不同角色的专家代理，以便在资源有限的情况下进行有效的任务规划。通过这种方式，HEART能够在规划之前验证任务的可行性和约束条件，从而生成可物理执行的计划。
技术框架：HEART的整体架构包括多个模块：首先是指令分解模块，将输入指令分解为原子任务；其次是专家代理模块，根据任务类型将任务分配给不同的角色专门的代理；最后是计划合成模块，结合各个代理的推理结果，生成最终的执行计划。
关键创新：HEART的主要创新在于引入了异构多LLM的协作机制，通过角色专门化的代理实现更高效的推理和计划生成。这一方法与传统的单一LLM方法本质上不同，后者往往无法有效处理复杂的物理约束。
关键设计：在设计上，HEART设置了明确的任务分配策略和约束验证机制，确保每个代理在其专长领域内进行推理。此外，采用了基于令牌的预算控制，以适应实际计算和通信的限制。
🖼️ 关键图片
📊 实验亮点
在多个家庭基准测试中，HEART框架的计划成功率显著高于单一LLM和基于规则的规划器，具体表现为成功率提升了20%以上，证明了异构LLM协作在资源约束下的有效性和可扩展性。
🎯 应用场景
HEART框架在家庭机器人、服务机器人等领域具有广泛的应用潜力。通过有效处理物理约束和复杂指令，HEART能够提升机器人在实际环境中的任务执行能力，促进智能家居和自动化服务的发展。未来，HEART的设计理念也可能扩展到其他需要复杂决策和规划的领域，如自动驾驶和工业机器人。
📄 摘要（原文）
Large Language Models (LLMs) can reason over complex instructions but often fail to satisfy the physical and spatial constraints required for robotic task planning. Recent LLM-based planners directly translate text into action sequences, yet they lack structured reasoning about feasibility, reachability, and logical order, resulting in invalid or incomplete plans. We present a heterogeneous multi-LLM framework that decomposes instructions into atomic reasoning tasks and allocates them to role-specialized expert agents under a token budget for real-world computational and communicational constraints. By combining role-oriented reasoning from heterogeneous agents followed by constraint-driven plan synthesis, HEART validates capability, reachability, and constraint conditions before planning and helps produce physically executable plans while maintaining efficiency. Experiments across different household benchmarks show that HEART consistently improves plan success compared to single-LLM and rule-based planners, demonstrating that heterogeneous LLM collaboration enables robust and scalable robotic task planning under resource constraints.