Density-Guided Bootstrap Boundaries for Latent World-Model Reinforcement Learning
作者: Shashank Gupta, Pilhwa Lee
分类: cs.LG, stat.ML
发布日期: 2026-10-29
备注: 37 pages, 5 figures
💡 一句话要点
提出密度引导的自举边界以解决模型依赖深度选择问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 潜在世界模型 强化学习 自举边界 动态调整 样本效率 模型误差 轨迹可靠性 贝尔曼算子
📋 核心要点
- 现有方法在模型依赖深度选择上存在挑战，固定的想象视野可能导致模型误差的累积。
- 提出密度引导的自举边界，通过相对密度代理动态调整想象回报的深度，增强轨迹可靠性。
- 实验结果表明，动态边界选择在样本效率和训练后期性能上优于传统方法，尤其在连续控制任务和Atari Pong中表现突出。
📝 摘要（中文）
潜在世界模型使强化学习代理能够从想象的轨迹中学习策略，但确定模型依赖的最佳深度仍然是一个基本挑战。固定的想象视野对轨迹可靠性不加区分，可能导致目标值受到模型误差的累积影响。本文提出了一种基于密度引导的自举边界机制，根据轨迹的相对密度动态调整想象回报的深度。通过两个门控机制，本文在Dreamer V3中实现了这一方法，并证明了所得到的门控贝尔曼算子是严格收缩映射，早期自举能够单调减少条件目标方差。实验证明，动态边界选择在样本效率和训练后期表现上优于固定视野和辅助启用的基线。
🔬 方法详解
问题定义：本文旨在解决潜在世界模型中模型依赖深度选择的挑战。现有方法使用固定的想象视野，可能导致目标值受到模型误差的累积影响，进而影响学习效果。
核心思路：提出了一种密度引导的自举边界机制，依据轨迹的相对密度动态调整想象回报的深度，从而提高轨迹的可靠性，减少模型误差的影响。
技术框架：整体架构包括一个特征位移网络和一个噪声条件的评分估计器，形成一个辅助场，通过估计的偏差来指导回报的深度选择。实现了硬边界和软边界两种门控机制，分别在离散状态和连续状态下调整回报扩展。
关键创新：最重要的创新在于提出了基于密度的自举边界，能够根据轨迹的可靠性动态调整回报深度，与传统的固定视野方法形成鲜明对比。
关键设计：关键设计包括门控机制的实现，硬边界在特定状态停止回报扩展，软边界则持续调整回报递归，确保边界值估计的保留，并为演员和评论家的损失应用相应的生存权重。整体方法在不依赖特定动力学模型的情况下进行设计。
🖼️ 关键图片
📊 实验亮点
实验结果显示，动态边界选择在样本效率和训练后期性能上显著优于固定视野和辅助启用的基线。在连续控制任务和Atari Pong中，动态边界选择的表现提升幅度达到XX%，验证了其有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等需要高效学习和决策的场景。通过动态调整模型依赖深度，可以显著提高强化学习算法的样本效率和训练效果，推动智能体在复杂环境中的表现。未来，该方法可能在多种强化学习任务中得到广泛应用，提升智能体的自主学习能力。
📄 摘要（原文）
Latent world models allow reinforcement learning agents to learn policies from imagined trajectories, yet determining the optimal depth of model reliance remains a fundamental challenge. Fixed imagination horizons apply uniform prediction depths regardless of trajectory reliability, exposing target values to compounding model error or over-relying on critic approximations. We introduce density-guided bootstrap boundaries, a trajectory-dependent mechanism that adapts the depth of imagined returns using a score-informed relative density proxy. The proxy accumulates the estimated divergence of a score-corrected auxiliary field formed by a feature displacement network and a noise-conditioned score estimator along imagined paths. We propose two gating mechanisms: a hard boundary that halts return expansion at a discrete state, and a soft boundary that continuously shifts the return recursion toward critic bootstrapping. Both variants preserve boundary value estimates and apply corresponding survival weights to actor and critic losses. Formulated independently of specific dynamics models and instantiated within Dreamer V3, we prove that the resulting gated Bellman operator is a strict contraction mapping and that early bootstrapping monotonically reduces conditional target variance. We clarify the theoretical assumptions distinguishing our expansion proxy from exact path likelihoods. Across continuous-control tasks and Atari Pong, empirical evaluations show that dynamic boundary selection enhances sample efficiency and late-training performance over fixed-horizon and auxiliary-enabled baselines.