Chance-Constrained Inspection Viewpoint Sequencing for On-Orbit Servicing via Safe Reinforcement Learning
作者: Chloé Carer, Adam Abdin
分类: cs.AI, math.OC
发布日期: 2026-10-30
期刊: 77th International Astronautical Congress (IAC), International Astronautical Federation (IAF), Oct 2026, Antalya (TR), Turkey
💡 一句话要点
提出基于机会约束的视角序列规划以解决在轨服务问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 轨道服务 自主检查 机会约束 马尔可夫决策过程 策略优化 碰撞风险 航天器规划
📋 核心要点
- 现有方法在规划航天器近距离观察视角时面临复杂的组合问题，尤其是在安全和燃料约束下。
- 本文提出将视角选择建模为约束马尔可夫决策过程，并结合高层规划器与低层运动模型进行求解。
- 实验结果显示，所提策略在保持覆盖率的同时，碰撞率显著低于传统方法，且无需针对每个案例重新调优。
📝 摘要（中文）
自主检查目标航天器通常是轨道服务的初步步骤。规划近距离观察视角涉及覆盖、燃料和安全等复杂组合问题。本文将视角选择建模为约束马尔可夫决策过程（CMDP），并应用带拉格朗日松弛的近端策略优化（PPO）进行求解。系统结合了高层规划器和低层模型，后者使用Clohessy-Wiltshire（CW）方程评估每次转移。通过在动作集上直接施加单脉冲可达性和Δv限制，确保了确定性约束。为应对导航和机动误差引起的安全边际随机性，实施了对实现轨迹的机会约束，并通过PID控制调节训练过程中的惩罚。该方法在中地球轨道的伽利略级导航卫星上进行了测试，结果表明训练的策略在各种风险预算下保持了低于规定限度的碰撞率，且覆盖率接近最大值。
🔬 方法详解
问题定义：本文解决的是在轨道服务中，如何有效规划航天器的近距离观察视角。现有方法通常依赖于固定的安全边际，导致碰撞风险和覆盖率之间的权衡不够灵活。
核心思路：论文的核心思路是将视角选择问题建模为约束马尔可夫决策过程，并通过机会约束来处理安全性问题。通过引入拉格朗日松弛，能够在训练过程中动态调整惩罚，从而优化策略。
技术框架：整体架构包括高层规划器和低层运动模型。高层规划器负责在目标周围的观察球上选择相机视角，而低层模型则使用Clohessy-Wiltshire方程评估每次转移的可行性。
关键创新：最重要的技术创新在于引入机会约束，使得碰撞风险成为设计参数，避免了传统方法中对每个案例的重新调优。与固定边际的规划方法相比，所提方法在相似覆盖率下显著降低了碰撞率。
关键设计：在设计中，直接在动作集上施加了单脉冲可达性和Δv限制，确保了策略的可行性。此外，使用PID控制调节拉格朗日乘子，以适应训练过程中的动态变化。整体策略不再依赖于每个决策点的蒙特卡洛风险估计。
📊 实验亮点
实验结果表明，所提机会约束策略在各种风险预算下，保持了低于规定限度的碰撞率，且覆盖率接近最大值。与传统方法相比，碰撞率减少了超过50%，在相似覆盖率下表现出更优的安全性。
🎯 应用场景
该研究的潜在应用领域包括航天器的自主检查与维护，尤其是在复杂的轨道环境中。通过优化视角选择，可以提高任务的安全性和效率，降低操作风险，具有重要的实际价值和未来影响。
📄 摘要（原文）
Autonomous inspection of a target spacecraft is typically the initial step in on-orbit servicing. Planning close-proximity observation viewpoints involves a complex combinatorial problem constrained by coverage, fuel, and safety considerations. This paper models the viewpoint selection as a Constrained Markov Decision Process (CMDP) and applies Proximal Policy Optimization with Lagrangian relaxation to solve it. The system combines a high-level planner, which sequences camera viewpoints on an observation sphere around the target, with a low-level model that assesses each transfer using the Clohessy--Wiltshire (CW) equations for relative motion. The deterministic constraints on single-impulse reachability and $Δv$ cap are enforced directly on the action set. Safety margins are affected by navigation and manoeuvre errors, making the actual clearance stochastic. To address this, a chance constraint on the realised trajectory is implemented, with a Lagrangian multiplier governed by PID control to adapt the penalty during training. The approach is tested on a Galileo-class navigation satellite in medium Earth orbit, modelled as a point cloud where visibility from each viewpoint considers field-of-view and line-of-sight occlusion. Across various risk budgets, the trained policy maintains the keep-out violation rate within the specified limit, achieving coverage close to its maximum and staying within the mission $Δv$ budget. Compared to the usual practice of applying a fixed margin to the keep-out radius and planning deterministically, the chance-constrained policy attains less than half the violation rate at comparable coverage. This makes the collision risk an explicit design parameter, eliminating the need for re-tuning per case. The learned policy selects a viewpoint without the repeated Monte Carlo risk estimates required by a greedy, chance-constrained planner at every decision point.