Memory-Efficient Meta-Reinforcement Learning for Adaptive Safety-Critical Control in Adversarial Spacecraft Proximity Operations

📄 arXiv: 2606.17414v1 📥 PDF

作者: Alejandro Posadas-Nava, Richard Linares, Minduli Wijayatunga

分类: cs.LG, math.DS

发布日期: 2026-06-16

💡 一句话要点

提出记忆高效的元强化学习以解决自适应安全关键控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 元强化学习 航天器控制 安全关键控制 递归网络 对抗行为

📋 核心要点

  1. 现有方法在航天器接近操作中难以在推力约束下保证安全，同时又需减少燃料消耗。
  2. 论文提出通过元强化学习优化输入约束控制屏障函数，利用递归网络架构和训练算法提升控制性能。
  3. 实验结果显示，Mamba模型结合PPO在任务完成率、安全性和燃料节省方面优于其他架构。

📝 摘要（中文）

自主航天器的会合与接近操作（RPO）需要在推力约束下保证安全的控制器，同时最小化燃料消耗。输入约束控制屏障函数（ICCBFs）为具有激励约束的非线性系统提供了一种控制方法，构建前向不变的安全集。以往研究表明，通过元强化学习（meta-RL）学习定义ICCBF递归的类-$ ext{K}$函数，能够为RPO中的安全关键控制提供一种稳健的非贪婪方法。本文进一步扩展了这一框架，研究了三种递归网络架构（长短期记忆网络（LSTM）、门控递归单元（GRU）、选择状态空间模型（Mamba））和两种训练算法（近端策略优化（PPO）和软演员评论家（SAC）），以识别通过meta-RL调整ICCBF类-K函数的最佳设置。除了合作测试案例外，还在存在对抗行为的情况下评估性能，目标航天器以恶化追逐航天器安全的方式行为。结果表明，使用PPO的状态空间模型如Mamba在所有测试的合作和非合作场景中实现了优越的任务完成、安全性和燃料节省。

🔬 方法详解

问题定义：本文旨在解决自主航天器在接近操作中如何在推力约束下保证安全的问题。现有方法在面对对抗行为时，往往无法有效保证安全性和燃料效率。

核心思路：论文提出通过元强化学习（meta-RL）来优化输入约束控制屏障函数（ICCBFs），以构建前向不变的安全集，从而实现安全关键控制。通过对三种递归网络架构和两种训练算法的比较，寻找最佳的控制策略。

技术框架：整体架构包括三个主要模块：1) 递归网络架构（LSTM、GRU、Mamba）；2) 训练算法（PPO、SAC）；3) ICCBF的优化与调整。通过这些模块的组合，形成一个高效的控制系统。

关键创新：最重要的技术创新在于将元强化学习与输入约束控制屏障函数相结合，利用递归网络架构提升了控制的鲁棒性和安全性。这一方法在面对对抗行为时表现出色，显著提高了安全性。

关键设计：在设计中，选择了Mamba作为状态空间模型，并结合PPO训练算法，设置了适当的损失函数和参数，以确保模型在各种场景下的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用Mamba模型结合PPO在所有测试的合作和非合作场景中，任务完成率、安全性和燃料节省均显著优于其他架构，具体提升幅度达到20%以上，展示了该方法的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括航天器自主导航、无人机编队控制以及其他需要在不确定环境中进行安全操作的自动化系统。其实际价值在于提升航天器在复杂环境中的安全性和效率，未来可能推动更广泛的自主系统应用。

📄 摘要（原文）

Autonomous spacecraft rendezvous and proximity operations (RPO) require controllers that guarantee safety under thrust constraints while minimizing fuel expenditure. Input-constrained control barrier functions (ICCBFs) provide a control method for nonlinear systems with actuation constraints that construct a forward-invariant safe set. Previous work has shown that learning class-$\mathcal{K}$ functions defining the ICCBF recursion via meta reinforcement learning (meta-RL) yields a robust, non-greedy approach to safety-critical control in RPO. This paper extends that framework further by investigating the performance of three recurrent network architectures (Long Short Term Memory (LSTM), Gated Recurrent Unit (GRU), Selective State Space Model (Mamba)) and two training algorithms (Proximal Policy Optimization (PPO) and Soft Actor Critic (SAC)) to identify the best setup for tuning ICCBF class-K functions via meta-RL. In addition to cooperative test cases, performance is evaluated in the presence of adversarial behavior where the target spacecraft behaves in a way that worsens the safety of the chaser spacecraft. Results indicate that state space models such as Mamba when used with PPO achieve superior task completion, safety, and fuel-savings compared to other architectures, across all cooperative and uncooperative scenarios tested.