Predicting Closed-Loop Performance of Latent World Models: Offline Checkpoint Selection for MPC and Model-Based RL Under Non-Markovian Rewards in LunarLander

📄 arXiv: 2607.01736v1 📥 PDF

作者: Nikolai Smolyanskiy

分类: cs.LG, cs.AI, eess.SY

发布日期: 2026-07-02

备注: Preprint, 19 pages (16 main text + 3 pages appendix), 7 figures, 4 tables. Video: https://youtu.be/4PxHFW_TYUw , Code: https://github.com/nsmoly/LunarLander_RSSM

🔗 代码/项目: GITHUB

💡 一句话要点

提出复合奖励可观测性分数以优化LunarLander中的闭环性能预测

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在世界模型 闭环性能 奖励可观测性 模型基强化学习 LunarLander CEM-MPC A2C策略 结构正则化

📋 核心要点

  1. 现有方法在选择潜在世界模型的检查点时面临挑战，验证损失和预测误差在性能下降后仍持续改善。
  2. 论文提出通过奖励可观测性分数（ROF）和结构正则化器组合成复合奖励可观测性分数（CROF）来优化检查点选择。
  3. 实验结果显示，CROF选择的模型在使用更少的环境交互下，显著提升了模型有向A2C策略的性能。

📝 摘要（中文）

本文研究如何仅通过验证时的诊断来预测学习的潜在世界模型的下游闭环性能。选择合适的检查点困难，因为验证损失和多步预测均方根误差在闭环性能下降后仍持续改善。我们提出了一套基于最优控制理论的结构性验证诊断，并将其应用于Gymnasium的LunarLander v3。通过训练RSSM世界模型并将每个检查点的CEM-MPC回报视为闭环质量的标准，我们发现奖励可观测性分数（ROF）是最强的单一预测因子。结合ROF和三个结构正则化器，我们提出了复合奖励可观测性分数（CROF），该模型在使用约65倍更少的真实环境交互的情况下，训练出比模型无关的A2C基线高出约24.5回报点的模型有向A2C策略。

🔬 方法详解

问题定义：本文旨在解决如何从验证时诊断中选择合适的潜在世界模型检查点，以预测闭环性能的问题。现有方法在闭环性能下降后，验证损失和多步预测误差仍持续改善，导致选择困难。

核心思路：论文的核心思路是引入奖励可观测性分数（ROF），该分数衡量奖励预测器对可观测子空间的依赖性。通过结合ROF与结构正则化器，形成复合奖励可观测性分数（CROF），以优化检查点选择。

技术框架：整体架构包括训练RSSM世界模型、计算每个检查点的CEM-MPC回报，并通过40个指标评估与闭环质量的相关性。CROF作为单一评分标准，用于选择最佳检查点。

关键创新：最重要的技术创新点在于提出了复合奖励可观测性分数（CROF），该分数结合了ROF和结构正则化器，显著提高了闭环性能预测的准确性。与现有方法相比，CROF提供了更为有效的检查点选择依据。

关键设计：在模型训练中，使用了RSSM结构，并通过CEM-MPC回报作为闭环质量的标准。ROF的计算涉及对奖励预测器的可观测性分析，结合三个结构正则化器以形成CROF评分。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用CROF选择的世界模型训练的模型有向A2C策略，比经过公平评估的模型无关A2C基线高出约24.5回报点，同时使用约65倍更少的真实环境交互。此外，该模型还能够驱动强大的零-shot CEM-MPC策略。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和游戏AI等领域，能够有效提升模型在复杂环境中的决策能力。通过优化检查点选择，研究成果可减少真实环境交互的需求，提高训练效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

We study how to predict the downstream closed-loop performance of a learned latent world model from validation-time diagnostics alone. Choosing the right checkpoint from a world-model training run is difficult: validation loss and multi-step prediction RMSE keep improving long after closed-loop performance has collapsed. We present a suite of structural validation-time diagnostics drawn from optimal-control theory and apply them to Gymnasium's LunarLander v3, which features shaped rewards. We train an RSSM [5, 4] world model on it and treat per checkpoint CEM-MPC return as the oracle for closed-loop quality. By evaluating 40 metrics against this oracle, we find that the strongest single predictor is the Reward Observability Fraction (ROF), which measures the reward predictor's dependence on the observable subspace. We combine ROF with three structural regularizers into a single-number offline checkpoint selection score, the Composite Reward Observability Fraction (CROF). The CROF-selected world model trains a model-based A2C policy that beats a fairly evaluated model-free A2C baseline by ~24.5 return points while using ~65x fewer real-environment interactions, and the same world model also drives a strong zero-shot CEM-MPC policy. Code and data: https://github.com/nsmoly/LunarLander_RSSM.