Constrained Multi-objective Optimization with Deep Reinforcement Learning Assisted Operator Selection

📄 arXiv: 2402.12381v1 📥 PDF

作者: Fei Ming, Wenyin Gong, Ling Wang, Yaochu Jin

分类: cs.AI, cs.NE

发布日期: 2024-01-15

💡 一句话要点

提出深度强化学习辅助的操作符选择以解决约束多目标优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 约束多目标优化 深度强化学习 进化算法 操作符选择 自适应算法 Q网络 算法性能提升

📋 核心要点

  1. 现有的约束多目标优化进化算法（CMOEAs）在操作符选择上存在困难，导致算法性能受限。
  2. 本文提出了一种基于深度强化学习的在线操作符选择框架，能够根据种群状态自适应选择最佳操作符。
  3. 实验结果显示，该方法在42个基准问题上显著提升了CMOEAs的性能，相较于九种最先进的CMOEAs表现出更好的通用性。

📝 摘要（中文）

解决约束多目标优化问题的进化算法引起了广泛关注。尽管已有多种约束多目标优化进化算法（CMOEAs）被提出，但其性能往往依赖于所使用的操作符，选择合适的操作符通常较为困难。为此，本文提出了一种在线操作符选择框架，利用深度强化学习来改善操作符的选择。通过将种群的动态特性视为状态，将候选操作符视为动作，并将种群状态的改善视为奖励，使用Q网络学习策略以估计所有动作的Q值，从而自适应选择最大化种群改善的操作符。实验结果表明，该方法显著提升了CMOEAs的性能，并在42个基准问题上表现出更好的通用性。

🔬 方法详解

问题定义：本文旨在解决约束多目标优化问题中的操作符选择困难，现有方法在选择合适操作符时往往无法适应特定问题的动态变化，导致性能不佳。

核心思路：通过引入深度强化学习，利用Q网络学习种群状态与操作符之间的关系，从而实现自适应的操作符选择，以最大化种群的改善效果。

技术框架：该框架包括三个主要模块：状态表示（种群的收敛性、多样性和可行性）、动作选择（候选操作符）和奖励反馈（种群状态的改善），通过Q学习算法进行优化。

关键创新：最重要的创新在于将深度强化学习应用于操作符选择，利用Q值估计来动态调整操作符，从而显著提升了算法的适应性和性能。

关键设计：在设计中，使用了Q网络来学习操作符的Q值，状态的表示方式包括种群的多样性和收敛性等指标，损失函数则基于Q值的估计误差进行优化。具体的网络结构和参数设置在实验中进行了详细调优。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，深度强化学习辅助的操作符选择方法在42个基准问题上显著提高了CMOEAs的性能，相较于九种最先进的CMOEAs，提升幅度达到了XX%（具体数据待补充），显示出更好的通用性和适应性。

🎯 应用场景

该研究的潜在应用领域包括工程优化、资源分配、调度问题等多个需要解决复杂约束多目标优化问题的场景。通过提高操作符选择的智能化程度，能够在实际应用中显著提升算法的效率和效果，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Solving constrained multi-objective optimization problems with evolutionary algorithms has attracted considerable attention. Various constrained multi-objective optimization evolutionary algorithms (CMOEAs) have been developed with the use of different algorithmic strategies, evolutionary operators, and constraint-handling techniques. The performance of CMOEAs may be heavily dependent on the operators used, however, it is usually difficult to select suitable operators for the problem at hand. Hence, improving operator selection is promising and necessary for CMOEAs. This work proposes an online operator selection framework assisted by Deep Reinforcement Learning. The dynamics of the population, including convergence, diversity, and feasibility, are regarded as the state; the candidate operators are considered as actions; and the improvement of the population state is treated as the reward. By using a Q-Network to learn a policy to estimate the Q-values of all actions, the proposed approach can adaptively select an operator that maximizes the improvement of the population according to the current state and thereby improve the algorithmic performance. The framework is embedded into four popular CMOEAs and assessed on 42 benchmark problems. The experimental results reveal that the proposed Deep Reinforcement Learning-assisted operator selection significantly improves the performance of these CMOEAs and the resulting algorithm obtains better versatility compared to nine state-of-the-art CMOEAs.