Reinforcement Learning-Guided Evolutionary Policy Optimization for Preference-Adjustable Heterogeneous Agile Earth Observation Satellite Scheduling

📄 arXiv: 2608.24470v1 📥 PDF

作者: He Wang, Junyu Wu, Hui Li, Yanjie Song, Witold Pedrycz, Liang Li

分类: cs.AI

发布日期: 2026-08-25

备注: 14 pages, 8 figures

💡 一句话要点

提出进化策略优化框架以解决异构敏捷地球观测卫星调度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 卫星调度 强化学习 进化算法 资源优化 任务分配 异构系统 智能调度

📋 核心要点

  1. 异构敏捷地球观测卫星调度面临任务选择和资源分配的复杂性，现有方法难以有效整合多种约束。
  2. 本文提出了一种进化策略优化框架，结合强化学习选择高层次搜索操作符，优化调度过程。
  3. 实验结果显示，RLOSMEA在加权效用和收敛性上优于传统的元启发式算法，验证了方法的有效性。

📝 摘要（中文）

异构敏捷地球观测卫星调度需要在卫星依赖的可见窗口、姿态机动要求、能耗和存储约束下进行任务选择、卫星分配和观测排序。由于卫星在轨道访问、机动能力和有效载荷资源上的差异，同一任务在不同平台上可能具有不同的可行窗口、过渡成本和资源消耗模式，增加了统一建模和高效优化的难度。为此，本文提出了一种具有偏好可调权重目标的异构AEOS调度进化策略优化框架。在建模层，采用基于分配的间接编码与基于解码器的等效成本评估相结合，保留卫星依赖约束，同时将任务收益、节能和负载平衡整合为可解释的标量效用。在优化层，调度解码、基于种群的搜索和在线演员-评论员控制被解耦，使得强化学习选择高层次的搜索操作符，而不是直接构建调度。基于此框架，开发了强化学习辅助操作符选择的模因进化算法（RLOSMEA），在有限的函数评估预算下协调全局探索、可行性恢复和局部精细化。实验结果表明，RLOSMEA在不同异构AEOS场景下实现了更高的整体加权效用和更稳定的收敛性。

🔬 方法详解

问题定义：本文旨在解决异构敏捷地球观测卫星调度中的任务选择、卫星分配和观测排序问题。现有方法在处理卫星间的差异性和复杂约束时存在效率低下和建模困难的痛点。

核心思路：提出的框架通过结合进化策略和强化学习，采用间接编码和解码器评估，保留卫星特定约束的同时，优化任务收益和资源利用。

技术框架：整体架构包括建模层和优化层。在建模层，使用基于分配的间接编码与解码器评估相结合；在优化层，解耦调度解码、种群搜索和在线控制，利用强化学习选择操作符。

关键创新：最重要的创新在于将强化学习与进化算法结合，选择高层次的搜索操作符而非直接构建调度，从而提高了调度的灵活性和效率。

关键设计：在参数设置上，采用偏好可调的权重目标，损失函数设计为综合考虑任务收益、能耗和负载平衡，确保优化过程的可解释性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RLOSMEA在不同异构AEOS场景下的整体加权效用显著高于传统元启发式算法，收敛性更为稳定。具体而言，RLOSMEA在某些场景下的加权效用提升幅度超过20%，验证了方法的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括卫星任务调度、资源管理和智能交通系统等，能够为复杂系统中的调度优化提供新的思路和方法。未来，随着技术的进步，该框架有望在更多领域实现广泛应用，提升资源利用效率和决策智能化水平。

📄 摘要（原文）

Heterogeneous agile Earth observation satellite (AEOS) scheduling requires task selection, satellite assignment, and observation sequencing under satellite-dependent visibility windows, attitude maneuvering requirements, energy consumption, and onboard storage constraints. Since satellites differ in orbital access, maneuvering capability, and payload resources, the same task may have different feasible windows, transition costs, and resource-consumption patterns on different platforms, which increases the difficulty of unified modeling and efficient optimization. To address this problem, this paper proposes an evolutionary policy optimization framework for heterogeneous AEOS scheduling with preference-adjustable weighted objectives. In the modeling layer, assignment-based indirect encoding is combined with decoder-based equivalent-cost evaluation to retain satellite-dependent constraints while integrating task gain, energy saving, and load balance into an interpretable scalar utility. In the optimization layer, schedule decoding, population-based search, and online actor-critic operator control are decoupled, so that reinforcement learning selects high-level search operators rather than constructing schedules directly. Based on this framework, a reinforcement-learning-assisted operator-selection memetic evolutionary algorithm (RLOSMEA) is developed to coordinate global exploration, feasibility recovery, and local refinement under a limited function-evaluation budget. Experiments on different heterogeneous AEOS scenarios show that RLOSMEA achieves higher overall weighted utility and more stable convergence than representative metaheuristic baselines. Sensitivity and learning-behavior analyses further confirm the robustness of the proposed method and the effectiveness of reinforcement-learning-guided operator selection.