Stable Multi-Step Rollouts via Uncertainty-Guided Hybrid Dynamics
作者: Andrei Maalberg, Axel Neumann, Jens Knobloch
分类: eess.SY
发布日期: 2026-08-17
备注: Accepted for presentation at, and publication in the Proceedings of the 65th IEEE Conference on Decision and Control (CDC 2026)
💡 一句话要点
提出不确定性引导的混合动力学框架以解决多步预测不稳定问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 混合动力学 不确定性引导 模型预测 控制系统
📋 核心要点
- 现有的动力学模型在递归应用时常常导致不稳定，影响策略更新的可靠性。
- 本文提出了一种混合动力学框架，通过不确定性引导的切换法则，结合名义模型与偏离模型。
- 实验结果显示，该框架在非线性Duffing振荡器上实现了稳定的长时间预测，并改善了成本-效益比。
📝 摘要（中文）
多步预测在基于模型的强化学习和预测控制中至关重要，但现有的动力学模型在递归应用时往往不稳定，导致发散和不可靠的策略更新。本文提出了一种模型无关的混合动力学框架，通过不确定性引导的切换法则，将可证明收缩的名义模型与灵活的偏离模型相结合。切换信号源自校准的认知不确定性，仅在系统离开名义区域时激活，确保每个模型在其可靠性范围内运行。我们在明确的光滑性和有界性假设下证明，所提出的混合预测器能够实现全局有界的递归多步预测：轨迹在名义区域内保持李雅普诺夫稳定，并在偏离期间最多呈仿射增长。通过在模型基础的强化学习方案中实例化该框架，利用真实的一步转移进行价值学习，并通过混合预测进行策略改进。实验结果表明，在非线性Duffing振荡器上实现了稳定的长时间预测，并相较于稳定基线改善了成本-效益权衡。
🔬 方法详解
问题定义：本文旨在解决基于模型的强化学习中多步预测的不稳定性问题。现有方法在递归应用时容易导致模型发散，影响策略的可靠性和有效性。
核心思路：提出了一种混合动力学框架，结合了一个可证明收缩的名义模型和一个灵活的偏离模型，通过不确定性引导的切换法则来动态选择模型，以确保在不同状态下的可靠性。
技术框架：该框架包括两个主要模块：名义模型和偏离模型。切换信号基于系统的认知不确定性，当系统状态偏离名义区域时，切换到偏离模型进行预测。
关键创新：最重要的创新在于引入不确定性引导的切换法则，使得模型能够在不同的状态下自适应选择，从而保持预测的稳定性和可靠性。这与传统的单一模型预测方法有本质区别。
关键设计：在设计中，切换信号的生成依赖于对系统状态的认知不确定性评估，确保模型在其可靠性范围内运行。此外，假设的光滑性和有界性为理论分析提供了基础。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的混合动力学框架在非线性Duffing振荡器上实现了稳定的长时间预测，相较于传统的稳定基线，成本-效益权衡显著改善，展示了该方法在实际应用中的有效性。
🎯 应用场景
该研究的混合动力学框架具有广泛的应用潜力，尤其在机器人控制、自动驾驶和智能制造等领域。通过提高多步预测的稳定性和可靠性，该方法能够有效支持复杂系统的决策制定，提升系统的整体性能和安全性。
📄 摘要（原文）
Multi-step rollouts are essential for model-based reinforcement learning (RL) and predictive control, yet learned dynamics models often become unstable when recursively applied, leading to divergence and unreliable policy updates. This paper proposes a model-agnostic hybrid dynamics framework that blends a provably contracting nominal model with a flexible excursion model through an uncertainty-guided switching law. The switching signal is derived from calibrated epistemic uncertainty and activates only when the system leaves the nominal region, ensuring that each model operates within its reliability regime. Under clearly stated smoothness and boundedness assumptions, we show that the resulting hybrid predictor yields globally bounded recursive multi-step rollouts: trajectories remain Lyapunov-stable in the nominal region and exhibit at most affine growth during excursions. To illustrate the theory in practice, we instantiate the hybrid dynamics framework within a model-based RL scheme that uses real one-step transitions for value learning and hybrid rollouts for policy improvement. Experiments on a nonlinear Duffing oscillator demonstrate stable long-horizon prediction and improved cost-effort trade-offs relative to a stabilizing baseline.