Distribution-Agnostic Robust Trajectory Optimization via Chance-Constrained Reinforcement Learning
作者: Yashdeep Chaudhary, Roberto Armellin, Harry Holt, Marco Sagliano
分类: math.OC, cs.LG, eess.SY
发布日期: 2026-06-12
💡 一句话要点
提出基于机会约束强化学习的分布无关鲁棒轨迹优化框架
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 轨迹优化 机会约束 强化学习 鲁棒控制 不确定性建模 航天器规划 多脉冲转移 随机控制
📋 核心要点
- 现有轨迹优化方法在面对不确定性时，往往依赖于特定的概率分布，限制了其适用性和灵活性。
- 本文提出了一种新的框架，通过机会约束强化学习实现分布无关的鲁棒轨迹优化，增强了对不确定性的适应能力。
- 实验结果显示，该框架在多种轨迹设计问题中表现优异，尤其在燃料成本和概率可行性方面均有显著提升。
📝 摘要（中文）
本文提出了一种基于机会约束强化学习的分布无关鲁棒轨迹优化框架。该框架通过初始条件和过程噪声来表示不确定性，要求仅为可采样。首先离线计算出确定性基准轨迹，然后通过结构化的仿射闭环修正法进行鲁棒化，包含前馈控制调整和时变反馈增益。通过基于回滚的上尾分位数经验性地强制执行概率可行性，同时通过协方差可行性惩罚来调节终端离散度。该框架在两个不同的轨迹设计问题上进行了评估，主要案例研究为三维多脉冲地球-火星转移，学习的策略在高斯不确定性下与近期的鲁棒轨迹优化参考进行了基准测试，并在有界均匀不确定性和训练中未见的过程干扰下进行了评估。第二个案例研究为随机大气精准火箭着陆问题，用于评估在具有阻力、质量消耗和滑翔坡度约束的短时间连续推力设置中的可移植性。结果表明，所提出的框架在保持概率可行性的同时，仍能在上尾燃料成本上保持竞争力，并且相同的鲁棒化框架可以跨越异构航天器轨迹规划问题而无需重新设计其核心随机控制结构。
🔬 方法详解
问题定义：本文旨在解决轨迹优化中面对不确定性时的鲁棒性问题。现有方法通常依赖于特定的概率分布，限制了其在多样化场景中的应用。
核心思路：提出的框架通过机会约束强化学习，利用可采样的不确定性表示，增强了轨迹优化的鲁棒性。首先计算出确定性基准轨迹，然后通过闭环控制法进行鲁棒化。
技术框架：整体架构包括离线计算基准轨迹、利用强化学习进行鲁棒化、以及通过回滚方法强制执行概率可行性。主要模块包括前馈控制调整和时变反馈增益的设计。
关键创新：最重要的创新在于提出了一种分布无关的鲁棒轨迹优化方法，能够在不同不确定性条件下保持良好的性能，区别于传统依赖特定分布的优化方法。
关键设计：关键设计包括使用协方差可行性惩罚来调节终端离散度，以及通过上尾分位数来经验性地强制执行概率可行性，确保优化结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的框架在三维多脉冲地球-火星转移任务中，与基准方法相比，燃料成本在上尾部分保持竞争力，同时在不同不确定性条件下均能保持概率可行性，显示出良好的适应性和鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括航天器轨迹规划、无人机飞行路径优化以及其他需要在不确定环境中进行决策的自动化系统。其实际价值在于提高系统在复杂环境下的鲁棒性，未来可能对航天任务的成功率和效率产生积极影响。
📄 摘要（原文）
This paper presents a distribution-agnostic robust trajectory-optimization framework based on chance-constrained reinforcement learning. The uncertainty is represented here through initial conditions and process noise, with the only requirement being that it can be sampled. A deterministic nominal trajectory is first computed offline, and reinforcement learning is then used only to robustify that baseline through a structured affine closed-loop correction law comprising a feedforward control adjustment and time-varying feedback gains. Probabilistic feasibility is enforced empirically through rollout-based upper-tail quantiles, while terminal dispersion is regulated through covariance-feasibility penalties. The framework is assessed on two materially different trajectory design problems. The flagship case study is a three-dimensional multi-impulse Earth-Mars transfer, where the learned policy is benchmarked against a recent robust trajectory-optimization reference under Gaussian uncertainty and then evaluated under bounded uniform uncertainty and under process disturbances not seen during training. The second case study is a stochastic atmospheric pinpoint rocket landing problem, used to assess portability to a short-horizon continuous-thrust setting with drag, mass depletion, and glide-slope constraints. The results show that the proposed framework can remain competitive in upper-tail fuel cost while preserving probabilistic feasibility, and that the same robustification scaffold can be carried across heterogeneous spacecraft trajectory planning problems without redesign of its core stochastic-control structure.