Predicting Closed-Loop Performance of Latent World Models: Offline Checkpoint Selection for MPC and Model-Based RL Under Non-Markovian Rewards in LunarLander

📄 arXiv: 2607.01736 📥 PDF

作者: Nikolai Smolyanskiy

分类: cs.LG, cs.AI, eess.SY

发布日期: 2026-07-05

💡 一句话要点

提出复合奖励可观测性分数以优化闭环性能预测

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在世界模型 闭环性能 奖励可观测性 模型基方法 强化学习 最优控制

📋 核心要点

  1. 现有方法在选择潜在世界模型的检查点时面临挑战，验证损失和预测精度在闭环性能下降后仍可能持续改善。
  2. 论文提出了一种基于最优控制理论的结构性验证时诊断方法，利用奖励可观测性分数（ROF）来评估模型性能。
  3. 实验结果表明，使用复合奖励可观测性分数（CROF）选择的模型在真实环境交互上显著减少，同时提升了策略的回报性能。

📝 摘要（中文）

本研究探讨如何仅通过验证时的诊断来预测学习到的潜在世界模型的下游闭环性能。选择合适的检查点非常困难，因为验证损失和多步预测均方根误差在闭环性能崩溃后仍然持续改善。我们提出了一套基于最优控制理论的结构性验证时诊断，并将其应用于Gymnasium的LunarLander v3环境。通过评估40个指标，我们发现奖励可观测性分数（ROF）是最强的单一预测因子。我们将ROF与三个结构性正则化器结合，形成一个离线检查点选择分数——复合奖励可观测性分数（CROF），该模型在使用65倍更少的真实环境交互的情况下，训练出的基于模型的A2C策略比模型无关的A2C基线提升了约24.5个回报点。

🔬 方法详解

问题定义：本研究旨在解决如何从验证时的诊断中预测潜在世界模型的闭环性能这一具体问题。现有方法在选择检查点时存在困难，验证损失和多步预测的改善并不总能反映闭环性能的真实情况。

核心思路：论文的核心思路是通过引入奖励可观测性分数（ROF）来评估模型的性能，并结合多个结构性正则化器形成复合奖励可观测性分数（CROF），以便更准确地选择检查点。

技术框架：整体架构包括训练潜在世界模型、计算ROF和CROF，以及基于CROF选择的模型训练策略。主要模块包括模型训练、性能评估和策略优化。

关键创新：最重要的技术创新点在于提出了复合奖励可观测性分数（CROF），它结合了ROF和结构性正则化器，显著提高了检查点选择的有效性，与现有方法相比，提供了更可靠的性能预测。

关键设计：在设计中，ROF用于衡量奖励预测器对可观测子空间的依赖性，结合的结构性正则化器增强了模型的稳定性，确保了在不同环境下的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用复合奖励可观测性分数（CROF）选择的世界模型训练出的基于模型的A2C策略，相较于模型无关的A2C基线提升了约24.5个回报点，同时在真实环境交互上减少了约65倍，展现了显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和游戏AI等领域，能够有效提升模型在复杂环境中的决策能力和学习效率。通过优化模型选择过程，能够减少对真实环境交互的需求，从而降低成本和风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

We study how to predict the downstream closed-loop performance of a learned latent world model from validation-time diagnostics alone. Choosing the right checkpoint from a world-model training run is difficult: validation loss and multi-step prediction RMSE keep improving long after closed-loop performance has collapsed. We present a suite of structural validation-time diagnostics drawn from optimal-control theory and apply them to Gymnasium's LunarLander v3, which features shaped rewards. We train an RSSM [5, 4] world model on it and treat per checkpoint CEM-MPC return as the oracle for closed-loop quality. By evaluating 40 metrics against this oracle, we find that the strongest single predictor is the Reward Observability Fraction (ROF), which measures the reward predictor's dependence on the observable subspace. We combine ROF with three structural regularizers into a single-number offline checkpoint selection score, the Composite Reward Observability Fraction (CROF). The CROF-selected world model trains a model-based A2C policy that beats a fairly evaluated model-free A2C baseline by ~24.5 return points while using ~65x fewer real-environment interactions, and the same world model also drives a strong zero-shot CEM-MPC policy. Code and data:this https URL.