Mitigating Data Scarcity in Spaceflight Applications for Offline Reinforcement Learning Using Physics-Informed Deep Generative Models

📄 arXiv: 2604.02438 📥 PDF

作者: Alex E. Ballentine, Nachiket U. Bapat, Raghvendra V. Cowlagi

分类: cs.LG

发布日期: 2026-04-06

💡 一句话要点

提出基于物理信息的深度生成模型MI-VAE，缓解航天应用中离线强化学习的数据稀缺问题。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 数据增强 变分自编码器 物理信息 航天应用

📋 核心要点

  1. 航天应用中强化学习控制器面临数据稀缺和模拟到现实的差距，导致泛化能力差，真实环境部署困难。
  2. 提出基于物理信息的互信息分割变分自编码器（MI-VAE），学习物理模型预测与真实轨迹的差异，生成符合物理约束的合成数据。
  3. 在行星着陆器问题上，MI-VAE增强的数据集显著提升了离线强化学习性能，优于标准VAE，提高了策略成功率。

📝 摘要（中文）

在物理系统上部署基于强化学习（RL）的控制器通常受到泛化能力差的限制，即所谓的模拟到现实（sim-to-real）差距。在航天领域，由于高成本和有限的行星探索数据，真实世界训练数据稀缺，这一差距尤为严峻。传统的系统辨识和合成数据生成方法依赖于足够的数据，并且常常由于建模假设或缺乏基于物理的约束而失败。我们提出通过在生成模型中引入基于物理的学习偏差来解决数据稀缺问题。具体而言，我们开发了基于互信息的分割变分自编码器（MI-VAE），这是一种基于物理信息的VAE，可以学习观测到的系统轨迹与基于物理模型的预测轨迹之间的差异。MI-VAE的潜在空间能够生成符合物理约束的合成数据集。我们在行星着陆器问题上评估了MI-VAE，重点关注有限的真实世界数据和离线RL训练。结果表明，使用MI-VAE样本增强数据集可以显著提高下游RL性能，在统计保真度、样本多样性和策略成功率方面优于标准VAE。这项工作展示了一种可扩展的策略，用于增强复杂、数据受限环境中自主控制器的鲁棒性。

🔬 方法详解

问题定义：论文旨在解决航天应用中，由于真实数据获取成本高昂和数据量有限，导致强化学习控制器难以训练和泛化的问题。现有方法，如系统辨识和合成数据生成，往往依赖大量数据，且难以保证生成的数据符合真实的物理约束，从而影响控制器的性能。

核心思路：论文的核心思路是利用物理信息作为先验知识，指导生成模型学习真实数据和物理模型预测之间的差异，从而生成既符合物理规律又具有真实数据特征的合成数据。通过使用这些合成数据增强训练集，可以提高强化学习控制器的鲁棒性和泛化能力。

技术框架：整体框架包含以下几个主要步骤：1) 使用物理模型对系统进行建模，并生成初始的系统轨迹；2) 利用少量真实数据，训练MI-VAE模型，学习真实轨迹与物理模型预测轨迹之间的差异；3) 使用训练好的MI-VAE模型生成合成数据，并将其与真实数据结合，形成增强后的训练数据集；4) 使用增强后的数据集训练离线强化学习控制器。

关键创新：论文的关键创新在于提出了基于互信息的分割变分自编码器（MI-VAE）。MI-VAE能够将潜在空间分解为与物理模型相关的部分和与真实数据相关的部分，从而更好地学习和生成符合物理约束的合成数据。与传统的VAE相比，MI-VAE能够更好地保留数据的物理一致性，并生成更多样化的样本。

关键设计：MI-VAE的关键设计包括：1) 使用互信息最大化来解耦潜在空间，确保物理信息和真实数据信息能够独立地被编码和解码；2) 使用特定的损失函数，鼓励生成的样本既接近真实数据，又符合物理模型的约束；3) 网络结构的设计考虑了物理模型的特点，例如，可以根据物理模型的输入输出维度来设计编码器和解码器的结构。

📊 实验亮点

实验结果表明，使用MI-VAE生成的合成数据增强训练集后，离线强化学习控制器的性能得到了显著提升。具体而言，在行星着陆器问题上，与使用标准VAE增强的数据集相比，使用MI-VAE增强的数据集能够使控制器的策略成功率提高XX%（具体数值未知），并且在统计保真度和样本多样性方面也优于标准VAE。这些结果表明，MI-VAE能够有效地缓解数据稀缺问题，并提高强化学习控制器的性能。

🎯 应用场景

该研究成果可应用于各种数据稀缺的航天任务，例如行星着陆、卫星姿态控制、空间机器人操作等。通过生成符合物理约束的合成数据，可以降低对真实数据的依赖，提高控制器的鲁棒性和安全性，从而降低航天任务的风险和成本。此外，该方法还可以推广到其他领域，例如机器人、自动驾驶等，解决数据稀缺环境下的控制问题。

📄 摘要（原文）

The deployment of reinforcement learning (RL)-based controllers on physical systems is often limited by poor generalization to real-world scenarios, known as the simulation-to-reality (sim-to-real) gap. This gap is particularly challenging in spaceflight, where real-world training data are scarce due to high cost and limited planetary exploration data. Traditional approaches, such as system identification and synthetic data generation, depend on sufficient data and often fail due to modeling assumptions or lack of physics-based constraints. We propose addressing this data scarcity by introducing physics-based learning bias in a generative model. Specifically, we develop the Mutual Information-based Split Variational Autoencoder (MI-VAE), a physics-informed VAE that learns differences between observed system trajectories and those predicted by physics-based models. The latent space of the MI-VAE enables generation of synthetic datasets that respect physical constraints. We evaluate MI-VAE on a planetary lander problem, focusing on limited real-world data and offline RL training. Results show that augmenting datasets with MI-VAE samples significantly improves downstream RL performance, outperforming standard VAEs in statistical fidelity, sample diversity, and policy success rate. This work demonstrates a scalable strategy for enhancing autonomous controller robustness in complex, data-constrained environments.