HOLO-MPPI: Multi-Scenario Motion Planning via Hierarchical Policy Optimization
作者: Youngjae Min, Jovin D'sa, Faizan M. Tariq, David Isele, Navid Azizan, Sangjae Bae
分类: cs.RO, cs.AI, eess.SY
发布日期: 2026-06-15
💡 一句话要点
提出HOLO-MPPI以解决多场景运动规划问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 运动规划 强化学习 模型预测控制 自主驾驶 多场景适应 高层策略学习 低层控制优化
📋 核心要点
- 现有方法在多场景运动规划中面临分布转移和奖励误设等挑战，导致性能不稳定。
- HOLO-MPPI通过结合高层策略学习与低层随机最优控制，提出了一种新的多场景运动规划框架。
- 实验结果表明，HOLO-MPPI在多样化驾驶场景中优于传统的MPPI和端到端RL方法，且保持实时控制能力。
📝 摘要（中文）
在现实世界中部署的机器人必须在多样化的场景中规划运动，而无需针对每个场景进行重新调优。虽然端到端的强化学习（RL）可以跨场景进行泛化，但在分布转移、奖励误设和随机交互下往往变得脆弱。模型预测路径积分（MPPI）控制能够在没有梯度的情况下实现强大的实时优化，但其性能依赖于良好设计的采样先验，而手动设计先验在多场景部署中并不具备可扩展性。本文提出了HOLO-MPPI（高层离线、低层在线MPPI），这是一个结合高层策略学习与低层随机最优控制的多场景运动规划框架。通过离线学习高层策略，HOLO-MPPI能够在抽象动作空间中提出场景鲁棒的规划，并利用学习的世界模型进行在线回放。在线时，策略作为数据驱动的先验生成器，参数化MPPI的采样分布，以适应当前观察和目标。MPPI随后在此先验基础上实时优化低层控制序列，以适应局部干扰。我们在自主驾驶中实例化HOLO-MPPI，设计了有效的高层动作空间和定制的模型架构。我们的评估显示，HOLO-MPPI在多样化的驾驶场景中优于MPPI和端到端RL基线，同时保持实时控制。
🔬 方法详解
问题定义：本文旨在解决机器人在多场景中进行运动规划时的鲁棒性问题。现有方法在面对环境变化和奖励设定不准确时，往往表现出脆弱性，难以适应多样化的场景需求。
核心思路：HOLO-MPPI的核心思路是将高层策略学习与低层随机最优控制相结合。通过离线学习高层策略，生成场景鲁棒的规划，并在在线阶段利用该策略作为数据驱动的先验，优化低层控制序列，以适应局部干扰。
技术框架：HOLO-MPPI的整体架构分为两个主要阶段：离线阶段和在线阶段。在离线阶段，学习高层策略并构建世界模型；在在线阶段，利用高层策略生成先验，并通过MPPI优化低层控制。
关键创新：HOLO-MPPI的主要创新在于其将高层策略与低层控制相结合，形成了一种新的多场景运动规划框架。这种方法能够有效应对环境变化，提升了规划的鲁棒性。
关键设计：在设计中，HOLO-MPPI采用了特定的高层动作空间和定制的模型架构，以确保在多样化场景中的有效性。同时，MPPI的采样分布是基于当前观察和目标进行参数化的，增强了实时适应能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，HOLO-MPPI在多样化驾驶场景中的表现优于MPPI和端到端RL基线，具体提升幅度达到XX%。该方法在实时控制方面保持了良好的性能，证明了其在实际应用中的有效性。
🎯 应用场景
HOLO-MPPI在自主驾驶领域具有广泛的应用潜力，能够有效应对复杂和多变的驾驶环境。其方法不仅提升了机器人在动态场景中的运动规划能力，还为未来的智能交通系统提供了重要的技术支持，推动了自动驾驶技术的发展。
📄 摘要（原文）
Robots deployed in the real world must plan motions across diverse scenarios without per-scenario retuning. End-to-end reinforcement learning (RL) can generalize across scenarios but often becomes brittle under distribution shift, reward misspecification, and stochastic interactions. Model predictive path integral (MPPI) control enables strong real-time refinement without gradients, but its performance depends on a well-shaped sampling prior, while manually designing the priors does not scale to multi-scenario deployment. We present HOLO-MPPI (High-level Offline, Low-level Online MPPI), a multi-scenario motion planning framework that combines high-level policy learning with low-level stochastic optimal control. Offline, we learn a high-level policy that proposes scenario-robust plans in an abstract action space, with a learned world model for online rollout. Online, the policy serves as a data-driven prior generator that parameterizes MPPI's sampling distribution conditioned on the current observation and goal. MPPI then optimizes low-level control sequences around this prior in real time to adapt to local disturbances. We instantiate HOLO-MPPI in autonomous driving by designing an effective high-level action space and tailored model architectures. Our evaluation across diverse driving scenarios shows that HOLO-MPPI improves upon MPPI and end-to-end RL baselines while maintaining real-time control.