Multi-Objective Reinforcement Learning Based on Decomposition: A Taxonomy and Framework

📄 arXiv: 2311.12495v2 📥 PDF

作者: Florian Felten, El-Ghazali Talbi, Grégoire Danoy

分类: cs.LG

发布日期: 2023-11-21 (更新: 2024-02-05)

备注: Accepted at JAIR

💡 一句话要点

提出基于分解的多目标强化学习方法以解决分类困难

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多目标强化学习 基于分解的优化 分类体系 算法贡献 灵活框架

📋 核心要点

  1. 现有的多目标强化学习方法缺乏统一的分类体系，导致研究者在理解和比较不同贡献时面临困难。
  2. 本文提出了一种基于分解的多目标强化学习方法（MORL/D），并建立了一个全面的分类体系，以便于对现有研究进行系统化分类。
  3. 实验结果表明，MORL/D在不同配置下的实例化方法在多个基准问题上表现出与当前最先进方法相当的性能。

📝 摘要（中文）

多目标强化学习（MORL）扩展了传统强化学习，通过在相互冲突的目标之间寻求不同的折衷方案。近年来，MORL的研究兴趣激增，导致了多种研究和解决方法的出现，通常借鉴了基于分解的多目标优化（MOO/D）的现有知识。然而，现有文献中缺乏基于强化学习和MOO/D的清晰分类，导致MORL研究者在更广泛的背景下分类贡献时面临困难。为了解决这一问题，本文提出了一种新的基于分解的多目标强化学习方法（MORL/D），并提供了一个全面的分类体系，为现有和潜在的MORL工作提供了结构化的基础。通过对MORL研究的审视，增强了分类的清晰性和简洁性。此外，基于该分类体系引入了一个灵活的框架，能够使用来自强化学习和MOO/D的工具进行多样化的实例化。结果表明，MORL/D实例在所研究的问题上达到了与当前最先进方法相当的性能。

🔬 方法详解

问题定义：本文旨在解决多目标强化学习（MORL）领域中缺乏标准化分类的问题，现有方法在分类和比较不同研究贡献时存在困难。

核心思路：提出基于分解的多目标强化学习（MORL/D）方法，建立一个全面的分类体系，以便于系统化地理解和比较MORL的研究成果。

技术框架：该框架包括多个模块，首先是对现有MORL研究的分类，然后是基于分类结果的灵活实例化，最后通过不同的基准问题进行评估。

关键创新：最重要的创新点在于建立了一个新的分类体系，将MORL与MOO/D文献有效结合，提供了一个统一的术语和视角，促进了算法贡献的识别。

关键设计：在设计中，考虑了不同的参数设置和损失函数，确保框架的灵活性和适应性，同时通过多种配置进行实验验证，确保结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MORL/D实例化方法在多个基准问题上达到了与当前最先进方法相当的性能，表明其在多目标优化任务中的有效性和灵活性。这为未来的研究提供了新的方向和可能性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、资源分配等多目标优化问题。通过提供一个系统化的框架，研究者可以更有效地开发和评估多目标强化学习算法，从而推动相关领域的进步。

📄 摘要（原文）

Multi-objective reinforcement learning (MORL) extends traditional RL by seeking policies making different compromises among conflicting objectives. The recent surge of interest in MORL has led to diverse studies and solving methods, often drawing from existing knowledge in multi-objective optimization based on decomposition (MOO/D). Yet, a clear categorization based on both RL and MOO/D is lacking in the existing literature. Consequently, MORL researchers face difficulties when trying to classify contributions within a broader context due to the absence of a standardized taxonomy. To tackle such an issue, this paper introduces multi-objective reinforcement learning based on decomposition (MORL/D), a novel methodology bridging the literature of RL and MOO. A comprehensive taxonomy for MORL/D is presented, providing a structured foundation for categorizing existing and potential MORL works. The introduced taxonomy is then used to scrutinize MORL research, enhancing clarity and conciseness through well-defined categorization. Moreover, a flexible framework derived from the taxonomy is introduced. This framework accommodates diverse instantiations using tools from both RL and MOO/D. Its versatility is demonstrated by implementing it in different configurations and assessing it on contrasting benchmark problems. Results indicate MORL/D instantiations achieve comparable performance to current state-of-the-art approaches on the studied problems. By presenting the taxonomy and framework, this paper offers a comprehensive perspective and a unified vocabulary for MORL. This not only facilitates the identification of algorithmic contributions but also lays the groundwork for novel research avenues in MORL.