LLM-guided Planar Loco-Manipulation for Quadruped Robots
作者: Georges Jetti, Michael Khayyat, Jean-Pierre Sleiman, Stefano Arrigoni, Francesco Braghin
分类: cs.RO, cs.LG
发布日期: 2026-10-29
备注: 20 pages, 9 figures, 15 tables. Includes appendix
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于LLM的平面运动操控方法以解决四足机器人在复杂环境中的导航问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 四足机器人 任务规划 物理交互 强化学习 自然语言处理 机器人导航 几何关系 全身操控
📋 核心要点
- 现有的机器人导航方法在复杂环境中面临挑战，无法有效处理可移动障碍物的物理交互。
- 本文提出的语言条件任务规划器通过联合选择技能、对象和目标，扩展了决策空间，提升了导航能力。
- 实验结果显示，该方法在仿真中成功率达到93.3%，相比于传统方法显著提高了效率和成功率。
📝 摘要（中文）
机器人导航通常假设存在无碰撞的路径，但在拥挤的环境中，达到目标可能需要物理交互。传统方法通过几何规则和特定任务逻辑编码这些行为，而基于学习的方法往往将决策空间限制在低维运动指令或预定义动作集。本文提出了一种语言条件的任务规划器，联合选择技能、相关物体和几何目标，将自然语言任务和结构化场景表示映射为可变长度的参数化动作序列。该规划器在交互导航任务中超越了传统规划器和提示前沿模型，并在仿真中实现了93.3%的成功率。
🔬 方法详解
问题定义：本文旨在解决四足机器人在拥挤环境中导航时的物理交互问题。现有方法往往依赖于几何规则和低维决策空间，无法灵活应对复杂场景。
核心思路：提出了一种语言条件的任务规划器，能够将自然语言任务与结构化场景表示结合，生成可变长度的参数化动作序列，从而实现更灵活的导航策略。
技术框架：整体架构包括三个主要模块：语言理解模块、场景表示模块和动作生成模块。语言理解模块解析自然语言任务，场景表示模块构建环境的结构化表示，动作生成模块则输出具体的执行动作。
关键创新：最重要的创新在于扩展了决策空间，允许同时选择技能、对象和目标，而不是仅依赖于预定义的动作集。这种方法在交互导航任务中表现出色，超越了传统的规划方法。
关键设计：使用LoRA对合成数据进行微调，优化了语言条件任务规划器的性能。低层次的强化学习策略则用于执行生成的动作序列，确保高效的执行和反馈机制。实验中还引入了全身平面推送策略，显著提高了成功率和完成时间。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的全身平面推送策略在仿真中实现了93.3%的成功率，相比于83.5%的传统层次基线，提升了近10个百分点。同时，完成时间减少超过60%，显示出显著的效率提升。在硬件测试中，层次方法在45次试验中成功组合技能44次，整体成功率为34/45，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、仓储自动化和救援机器人等。在复杂环境中，能够有效处理物理交互的导航能力将极大提升机器人的实用性和灵活性，推动智能机器人在实际场景中的应用。未来，该方法可能会扩展到更多类型的机器人和任务，进一步提升其适应性和智能水平。
📄 摘要（原文）
Robotic navigation typically assumes a collision-free route to the goal exists; in cluttered environments with movable obstacles, however, reaching the goal may require physical interaction. Classical solutions encode these behaviors through geometric rules and task-specific logic, while learning-based approaches often constrain the decision space to low-dimensional motion commands or predefined action sets. We instead consider a broader decision space, jointly selecting the skill, relevant object, and geometric target. Our language-conditioned task planner, fine-tuned with LoRA on synthetic data, maps natural-language tasks and a structured scene representation to variable-length sequences of parameterized actions, executed by low-level reinforcement-learning policies. The planner learns the geometric relations underlying interactive navigation and outperforms a classical planner and a prompted frontier model on interactive navigation tasks. Comparisons with models trained from scratch indicate that composition does not require pretraining when the representation is structured, whereas pretraining yields more reliable geometric targets. At the low level, we introduce an end-to-end whole-body planar pushing policy that achieves a 93.3% success rate in simulation, versus 83.5% for a hierarchical baseline, while reducing completion time by more than 60%. On hardware, the hierarchy yields the correct skill composition in 44/45 trials and end-to-end success in 34/45. Project website: https://anonymousprojects-dev.github.io/LLM-guided-LocoManipulation-Quadrupeds/