Reinforced Planning with Latent World Models

📄 arXiv: 2608.18669v1 📥 PDF

作者: Armin Sommer, Jannik Schilling

分类: cs.LG

发布日期: 2026-08-19

备注: Preprint

💡 一句话要点

提出强化规划方法以解决多步计划改进问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 规划算法 世界模型 多步计划 机器人导航 自动化操作 神经网络

📋 核心要点

  1. 现有的规划方法在多步计划改进方面存在不足，通常依赖手工设计或仅用于指导策略，而非直接修正计划。
  2. 论文提出的强化规划方法通过强化学习来学习搜索规则，使得神经规划器能够自主改进多步计划。
  3. 实验结果显示，RP1在多个任务上显著优于传统手工设计的搜索算法，成功率接近完美且效率大幅提升。

📝 摘要（中文）

人类通过构建计划并利用内在的世界模型进行结果的心理模拟来解决复杂问题。尽管机器学习已经产生了能够预测行动序列结果的世界模型，但现有的候选计划改进仍未完全学习。当前的规划器要么是手工设计的，要么是从手工设计的优化器中提炼的，或者仅仅是为了告知一个摊销策略而学习，而不是修正计划本身。我们提出了强化规划（Reinforced Planning）方法，基于强化良好搜索规则以学习搜索的思想。我们的实现RP1不仅学习如何通过评论者评估想象的结果，还学习如何通过完全离线训练的优化器改进多步计划。RP1是首个完全学习如何改进多步计划的方法，并且可以独立于任何预训练的潜在世界模型进行训练并附加。通过在视觉导航、臂部伸展和机器人操作等任务上进行实验，RP1显著超越了手工设计的搜索算法，在多个设置中达到近乎完美的成功，同时使用$1,000 imes$更少的世界模型回滚，并在并发规划推理下比最强替代方案快$67 imes$。

🔬 方法详解

问题定义：本论文旨在解决现有规划方法在多步计划改进方面的不足，现有方法往往依赖手工设计或未能有效学习如何修正计划。

核心思路：论文提出的强化规划方法通过强化学习来学习有效的搜索规则，使得神经规划器能够在评估和优化计划时进行自主学习，从而实现多步计划的改进。

技术框架：整体架构包括两个主要模块：评论者（用于评估想象的结果）和优化器（用于改进多步计划）。优化器通过完全离线的方式从想象的世界模型回滚中进行训练。

关键创新：RP1是首个完全学习如何改进多步计划的方法，能够独立于任何预训练的潜在世界模型进行训练，显著提升了规划效率和成功率。

关键设计：在技术细节上，RP1使用特定的损失函数来优化评论者和优化器的性能，网络结构设计上考虑了如何有效地处理多步计划的评估与改进。具体参数设置和网络结构的细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RP1在视觉导航、臂部伸展和机器人操作等任务上显著优于手工设计的搜索算法，成功率接近完美，同时在使用$1,000 imes$更少的世界模型回滚的情况下，推理速度比最强替代方案快$67 imes$。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动化操作和复杂任务规划等。通过提升多步计划的改进能力，RP1能够在实际应用中实现更高效的决策支持，推动智能系统在动态环境中的自主性和灵活性。

📄 摘要（原文）

Humans solve complex problems by constructing plans and mentally simulating their outcomes with an internal model of the world. Machine learning has produced world models that similarly predict the outcomes of action sequences, but the improvement of candidate plans still isn't fully learned. Current planners are either hand-designed, distilled from a hand-designed optimizer, or learned only to inform an amortized policy rather than to revise the plan itself. We introduce the Reinforced Planning, a method based on the idea that search can be learned by reinforcing good search rules into a neural planner. Our implementation RP1 learns both how to evaluate imagined outcomes through a critic, as well as how to improve multi-step plans through an optimizer trained fully offline from imagined world-model roll-outs. To our knowledge, RP1 is the first method to fully learn how to improve multi-step plans. Furthermore, it can be trained independently of and attached to any pretrained latent world model. Across visual navigation, arm reaching, and robotic manipulation on two world-model backbones, RP1 substantially outperforms hand-designed search algorithms, reaching near-perfect success in several settings while using $1,000 \times$ less world-model rollouts and being up to $67 \times$ faster than the strongest alternative under concurrent planner inference.