RAMA: Retrieval-Augmented Multi-Agent Routing with Episodic Memory for LEO Satellite Networks

📄 arXiv: 2610.42068v1 📥 PDF

作者: Xin Ming Li, Peng Hu

分类: cs.NI, cs.LG

发布日期: 2026-10-30

💡 一句话要点

提出RAMA以解决LEO卫星网络中的动态路由问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 低地球轨道卫星 深度强化学习 动态路由 多智能体系统 情景记忆 Transformer网络 网络延迟 AIS

📋 核心要点

  1. 现有的深度强化学习路由方法无法有效利用历史经验，导致在动态环境中表现不佳。
  2. RAMA通过结合本地观测、路由历史和情景记忆，增强了多智能体的决策能力。
  3. 实验结果显示，RAMA在多个卫星网络中显著降低了延迟，尤其是在Starlink网络中表现突出。

📝 摘要（中文）

低地球轨道（LEO）卫星网络由于拓扑、流量和链路条件的快速变化，面临着复杂的路由环境。现有的深度强化学习（DRL）路由方法通常依赖于当前观测和网络权重中编码的信息，限制了其利用成功过往经验的能力。本文提出了RAMA，一个增强检索的多智能体DRL框架，结合了近似信息状态（AIS），使每颗卫星能够整合本地观测、最近的路由历史、邻近状态信息以及来自每颗卫星的情景记忆的检索条目。通过AIS辅助目标训练的基于Transformer的决策网络，RAMA在一个140颗卫星的开普勒星座中，将平均端到端延迟降低了13.4%，99百分位延迟降低了66.7%。在1584颗卫星的Starlink shell 1上，平均延迟的减少幅度达到93.2%。

🔬 方法详解

问题定义：本文旨在解决低地球轨道卫星网络中动态路由的挑战，现有方法因依赖当前观测而无法有效利用历史经验，导致路由效率低下。

核心思路：RAMA框架通过增强检索的方式，结合卫星的本地观测、路由历史和情景记忆，提升了多智能体的决策能力，从而更好地适应快速变化的网络环境。

技术框架：RAMA的整体架构包括四个主要模块：本地观测模块、路由历史模块、情景记忆模块和基于Transformer的决策网络。每个卫星通过这些模块整合信息，进行智能决策。

关键创新：RAMA的主要创新在于引入了增强检索机制和近似信息状态（AIS），使得每颗卫星能够有效利用历史经验，显著提高了路由效率，与现有的双深度Q网络（DDQN）方法相比具有本质区别。

关键设计：在设计中，RAMA采用了AIS作为辅助目标，使用Transformer网络进行决策，确保了信息的有效整合和处理，同时在140颗卫星的开普勒星座中进行了权重冻结的实验设置。

📊 实验亮点

实验结果表明，RAMA在140颗卫星的开普勒星座中将平均延迟降低了13.4%，99百分位延迟降低了66.7%。在1584颗卫星的Starlink shell 1上，平均延迟的减少幅度达到93.2%，并且在线更新进一步降低了25.5%。

🎯 应用场景

该研究的潜在应用领域包括低地球轨道卫星通信、全球互联网覆盖和应急通信系统。通过提高路由效率，RAMA能够在动态环境中提供更可靠的服务，具有重要的实际价值和未来影响。

📄 摘要（原文）

Low-Earth orbit (LEO) satellite networks present a challenging routing environment due to rapidly changing topology, traffic, and link conditions. Existing deep reinforcement learning (DRL) routing methods typically rely on current observations and information encoded in network weights, limiting their ability to exploit successful past experiences. We propose RAMA, a retrieval-augmented multi-agent DRL framework with Approximate Information State (AIS), in which each satellite combines its local observation, recent routing history, neighboring state information, and retrieved entries from a per-satellite episodic memory. Retrieved experiences are integrated through a Transformer-based decision network trained with AIS-based auxiliary objectives. With weights frozen in a 140-satellite Kepler constellation, RAMA reduces mean end-to-end latency by 13.4% and 99th-percentile latency by 66.7% relative to the state-of-theart double deep Q-network (DDQN) routing method, mainly by avoiding long detours. Updated online, RAMA remains stable while DDQN degrades. On the 1,584-satellite Starlink shell 1, the reduction in mean latency grows to 93.2%, and updating RAMA online lowers its mean latency by a further 25.5%. These results demonstrate the effectiveness of retrieval-augmented memory for scalable decentralized routing in LEO satellite networks.