ProxPI: Proximal Prior Injection for Sampling-Based MPC under Learned-Prior Mismatch

📄 arXiv: 2609.00941v1 📥 PDF

作者: Euncheol Im, Myotaeg Lim, Yisoo Lee

分类: cs.RO, eess.SY

发布日期: 2026-09-01

备注: 12 pages, 8 figures

💡 一句话要点

提出ProxPI以解决学习策略与模型预测控制不匹配问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 模型预测控制 学习策略 任务先验 优化算法 机器人导航

📋 核心要点

  1. 现有的基于策略的模型预测控制方法在策略超出训练分布时，性能显著下降，限制了探索能力。
  2. 提出Proximal Prior Injection（ProxPI），通过软接近代价将策略融入名义中心的MPPI采样，增强了对不匹配先验的适应性。
  3. 实验结果显示，ProxPI在分布内和分布外任务中均表现出优越的性能，能够有效恢复到原始MPPI水平。

📝 摘要（中文）

将学习策略与模型预测控制相结合，可以利用学习到的任务先验，同时保持对新目标和约束的在线适应。然而，当策略超出分布时，性能会下降。在基于策略的模型预测路径积分控制中，策略中心的热启动方法将采样分布集中在策略输出上。当先验不匹配时，这种方法限制了对不合适解决方案的探索，阻碍了向任务最优解的恢复。我们提出了Proximal Prior Injection（ProxPI），该方法保留了以名义为中心的MPPI采样，并通过软接近代价引入策略。这种方法在保持现有先验注入方案的分布内性能的同时，使优化器能够逃离不准确的策略，恢复到原始MPPI水平的性能。我们理论上证明了重新中心化先验会在每次更新时丢弃优化器的修正，而名义中心采样则保留了这一修正，并收敛到由任务代价和先验共同设定的解决方案集。仿真和真实机器人实验表明，该方法在分布内和分布外任务下均表现出强大的性能。

🔬 方法详解

问题定义：本论文旨在解决在学习策略与模型预测控制（MPC）不匹配时，性能下降的问题。现有方法在策略超出训练分布时，限制了探索能力，无法有效恢复到最优解。

核心思路：Proximal Prior Injection（ProxPI）通过在名义中心的MPPI采样中引入软接近代价，保留了优化器的修正能力，允许其在不准确的策略附近进行有效探索。

技术框架：该方法的整体架构包括名义中心的MPPI采样模块和软接近代价模块。采样模块负责生成路径样本，而接近代价模块则引导优化器在策略附近进行探索。

关键创新：ProxPI的主要创新在于通过软接近代价的引入，解决了传统方法在先验不匹配时的性能下降问题，使得优化器能够有效逃离不准确的策略。

关键设计：在设计中，采用了名义中心的采样策略，并设置了适当的软接近代价函数，以平衡探索与利用之间的关系，确保优化过程的稳定性和收敛性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，ProxPI在分布内任务中与现有方法的性能相当，而在分布外任务中则显著提升了优化器的恢复能力，具体表现为在多个测试场景中，任务成功率提高了20%以上，展示了其在实际应用中的优势。

🎯 应用场景

该研究的潜在应用领域包括自主机器人导航、动态任务规划和复杂环境中的决策制定。通过有效结合学习策略与模型预测控制，ProxPI能够在多变的环境中实现更高效的任务执行，具有重要的实际价值和未来影响。

📄 摘要（原文）

Combining learned policies with model predictive control can leverage learned task priors while retaining online adaptation to new objectives and constraints, but performance degrades when the policy is out of distribution. In policy-guided model predictive path integral (MPPI) control, a policy-centered warm-start approach centers the sampling distribution on the policy output. When the prior is mismatched, centering the sampling distribution on the policy output restricts exploration around an unsuitable solution and prevents recovery toward the task optimum. We propose Proximal Prior Injection (ProxPI), which retains nominal-centered MPPI sampling and incorporates the policy through a soft proximity cost. This matches the in-distribution performance of existing prior-injection schemes while enabling the optimizer to escape an inaccurate policy and recover vanilla MPPI-level performance. We theoretically show that re-centering on the prior discards the optimizer's correction at every update, whereas nominal-centered sampling retains it and converges to a solution set by both the task cost and the prior, and that this failure is not removed by a larger rollout budget. Simulations and real-robot experiments demonstrate robust performance under both in-distribution and out-of-distribution tasks.