Distribution-Agnostic Robust Trajectory Optimization via Chance-Constrained Reinforcement Learning
作者: Yashdeep Chaudhary, Roberto Armellin, Harry Holt, Marco Sagliano
分类: math.OC, cs.LG, eess.SY
发布日期: 2026-06-11
备注: Preprint. 39 pages, 16 figures
💡 一句话要点
提出基于机会约束强化学习的分布无关鲁棒轨迹优化框架
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 轨迹优化 强化学习 鲁棒控制 不确定性建模 航天器规划 概率可行性 多脉冲转移 随机控制
📋 核心要点
- 现有轨迹优化方法在面对不确定性时往往缺乏鲁棒性，难以适应不同的环境变化。
- 论文提出了一种基于机会约束强化学习的框架，通过离线计算名义轨迹并利用强化学习进行鲁棒化。
- 实验结果显示，该框架在多种不确定性条件下表现出色，能够有效降低燃料成本并保持概率可行性。
📝 摘要（中文）
本文提出了一种基于机会约束强化学习的分布无关鲁棒轨迹优化框架。该框架通过初始条件和过程噪声来表示不确定性，要求仅为可采样。首先离线计算确定性名义轨迹，然后利用强化学习通过结构化的仿射闭环校正法来增强该基线，包含前馈控制调整和时变反馈增益。通过基于回滚的上尾分位数来经验性地强制执行概率可行性，同时通过协方差可行性惩罚来调节终端分散。该框架在两个不同的轨迹设计问题上进行了评估，主要案例研究为三维多脉冲地球-火星转移，学习的策略在高斯不确定性下与近期的鲁棒轨迹优化参考进行了基准测试，并在有界均匀不确定性和训练期间未见的过程扰动下进行了评估。第二个案例研究为随机大气精准火箭着陆问题，用于评估在具有阻力、质量耗尽和滑行坡度约束的短时间连续推力设置中的可移植性。结果表明，该框架在保持概率可行性的同时，仍能在上尾燃料成本方面保持竞争力，并且相同的鲁棒化框架可以跨异构航天器轨迹规划问题而无需重新设计其核心随机控制结构。
🔬 方法详解
问题定义：本文旨在解决在不确定性环境下的轨迹优化问题，现有方法在应对不同类型的不确定性时表现不足，难以保证鲁棒性和可行性。
核心思路：提出的框架通过机会约束强化学习，首先计算一个确定性名义轨迹，然后利用强化学习进行鲁棒化，设计了结构化的闭环校正法来增强控制性能。
技术框架：整体架构包括离线计算名义轨迹、强化学习鲁棒化过程和基于回滚的概率可行性评估。主要模块包括前馈控制调整和时变反馈增益的设计。
关键创新：该框架的创新在于其分布无关性，能够处理不同类型的不确定性，同时通过协方差可行性惩罚调节终端分散，显著提升了轨迹优化的鲁棒性。
关键设计：在设计中，采用了基于回滚的上尾分位数来评估概率可行性，设置了协方差可行性惩罚项，并在强化学习中使用了结构化的仿射闭环校正法。具体的参数设置和网络结构细节在实验中进行了优化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的框架在三维多脉冲地球-火星转移案例中，能够在高斯不确定性下与现有鲁棒轨迹优化方法相媲美，并在有界均匀不确定性和未见扰动下保持较低的燃料成本，显示出良好的鲁棒性和适应性。
🎯 应用场景
该研究的潜在应用领域包括航天器轨迹规划、无人机飞行控制和自动驾驶等。通过提供一种鲁棒的轨迹优化方法，可以在复杂和不确定的环境中提高系统的安全性和效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
This paper presents a distribution-agnostic robust trajectory-optimization framework based on chance-constrained reinforcement learning. The uncertainty is represented here through initial conditions and process noise, with the only requirement being that it can be sampled. A deterministic nominal trajectory is first computed offline, and reinforcement learning is then used only to robustify that baseline through a structured affine closed-loop correction law comprising a feedforward control adjustment and time-varying feedback gains. Probabilistic feasibility is enforced empirically through rollout-based upper-tail quantiles, while terminal dispersion is regulated through covariance-feasibility penalties. The framework is assessed on two materially different trajectory design problems. The flagship case study is a three-dimensional multi-impulse Earth-Mars transfer, where the learned policy is benchmarked against a recent robust trajectory-optimization reference under Gaussian uncertainty and then evaluated under bounded uniform uncertainty and under process disturbances not seen during training. The second case study is a stochastic atmospheric pinpoint rocket landing problem, used to assess portability to a short-horizon continuous-thrust setting with drag, mass depletion, and glide-slope constraints. The results show that the proposed framework can remain competitive in upper-tail fuel cost while preserving probabilistic feasibility, and that the same robustification scaffold can be carried across heterogeneous spacecraft trajectory planning problems without redesign of its core stochastic-control structure.