R2 Indicator and Deep Reinforcement Learning Enhanced Adaptive Multi-Objective Evolutionary Algorithm

📄 arXiv: 2404.08161v2 📥 PDF

作者: Farajollah Tahernezhad-Javazm, Debbie Rankin, Naomi Du Bois, Alice E. Smith, Damien Coyle

分类: cs.NE, cs.AI

发布日期: 2024-04-11 (更新: 2024-04-17)

💡 一句话要点

提出基于R2指标的深度强化学习自适应多目标进化算法以优化选择问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多目标优化 进化算法 深度强化学习 R2指标 智能体选择 性能评估 算法比较

📋 核心要点

  1. 现有的优化算法在选择合适的进化操作符时面临挑战，导致优化效果不理想。
  2. 本文提出了一种结合深度强化学习的多目标进化算法，通过智能体动态选择操作符以提高优化效率。
  3. 实验结果表明，R2-RLMOEA在多个基准测试中表现优异，显著提升了优化性能。

📝 摘要（中文）

选择合适的优化算法对于成功解决优化挑战至关重要。本文提出了一种新的进化算法结构，利用基于强化学习的智能体来应对这些问题。该智能体采用双深度Q网络，根据优化过程中从环境中获得的反馈选择特定的进化操作符。算法结构包含五个单目标进化算法操作符，通过R2指标将单目标结构转化为多目标结构。R2指标在结构中有两个作用：一是使算法具备多目标特性，二是为每一代算法的性能评估提供依据，以便构建基于强化学习的奖励函数。所提出的R2-RLMOEA算法与六种基于R2指标的多目标算法进行了比较，结果显示在所有十个基准测试中，R2-RLMOEA在平均间隔度量上显著优于其他算法（p<0.001）。

🔬 方法详解

问题定义：本文旨在解决在多目标优化中选择合适进化操作符的困难，现有方法往往无法有效适应不同的优化环境，导致性能下降。

核心思路：通过引入基于深度强化学习的智能体，动态选择进化操作符，利用环境反馈来优化选择过程，从而提高算法的适应性和效率。

技术框架：算法整体架构包括五个单目标进化算法操作符，通过R2指标将其转化为多目标结构。智能体使用双深度Q网络来选择操作符，结合环境反馈构建奖励函数。

关键创新：R2-RLMOEA的核心创新在于将强化学习与多目标进化算法结合，利用R2指标不仅实现多目标优化，还为算法性能评估提供依据，这在现有方法中尚属首次。

关键设计：在算法设计中，选择了五个单目标操作符，并通过R2指标进行性能评估。智能体的网络结构采用双深度Q网络，损失函数设计为基于奖励反馈的动态调整机制，以增强学习效果。

📊 实验亮点

在与六种基于R2指标的多目标算法比较中，R2-RLMOEA在平均间隔度量上表现出显著优势，统计显著性达到p<0.001，显示出其在优化性能上的显著提升。

🎯 应用场景

该研究的潜在应用领域包括工程优化、资源分配、调度问题等多个复杂优化场景。通过提高多目标优化的效率，R2-RLMOEA能够为实际问题提供更优解，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Choosing an appropriate optimization algorithm is essential to achieving success in optimization challenges. Here we present a new evolutionary algorithm structure that utilizes a reinforcement learning-based agent aimed at addressing these issues. The agent employs a double deep q-network to choose a specific evolutionary operator based on feedback it receives from the environment during optimization. The algorithm's structure contains five single-objective evolutionary algorithm operators. This single-objective structure is transformed into a multi-objective one using the R2 indicator. This indicator serves two purposes within our structure: first, it renders the algorithm multi-objective, and second, provides a means to evaluate each algorithm's performance in each generation to facilitate constructing the reinforcement learning-based reward function. The proposed R2-reinforcement learning multi-objective evolutionary algorithm (R2-RLMOEA) is compared with six other multi-objective algorithms that are based on R2 indicators. These six algorithms include the operators used in R2-RLMOEA as well as an R2 indicator-based algorithm that randomly selects operators during optimization. We benchmark performance using the CEC09 functions, with performance measured by inverted generational distance and spacing. The R2-RLMOEA algorithm outperforms all other algorithms with strong statistical significance (p<0.001) when compared with the average spacing metric across all ten benchmarks.