Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity

📄 arXiv: 2402.06266v2 📥 PDF

作者: Peter Vamplew, Ethan, Watkins, Cameron Foale, Richard Dazeley

分类: cs.LG

发布日期: 2024-02-09 (更新: 2026-04-22)

备注: This updates our previous pre-print to add extended discussion of value-function interference as well as new material illustrating the interaction between Q-value overestimation and non-linear utility

💡 一句话要点

探讨价值基础多目标强化学习中的干扰与过估计敏感性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多目标强化学习 价值函数干扰 过估计敏感性 马尔可夫决策过程 Q学习 非线性效用函数 算法性能

📋 核心要点

  1. 现有的价值基础多目标强化学习算法在处理多个目标时，可能会受到价值函数干扰和过估计敏感性的影响，导致性能下降。
  2. 论文通过分析这两种现象，提出了对价值函数的干扰和过估计敏感性进行深入研究的思路，以改善多目标强化学习的效果。
  3. 通过在简单的多目标MDP上进行实验，验证了这些问题的存在，并为未来的研究提供了新的视角和解决方案。

📝 摘要（中文）

多目标强化学习（MORL）算法扩展了传统强化学习（RL），处理具有多个相互冲突目标的问题，通常通过向量值奖励表示。常用的标量RL方法如Q学习可以通过学习向量值价值函数和使用标量化或排序算子进行动作选择来适应多目标。然而，本文探讨了在非线性效用函数下，价值基础MORL算法可能面临的两个未被报告的问题：价值函数干扰和过估计敏感性。通过简单的多目标马尔可夫决策过程（MDP）示例，展示了这些现象的特征。

🔬 方法详解

问题定义：本文旨在解决价值基础多目标强化学习算法在应用非线性效用函数时出现的价值函数干扰和过估计敏感性问题。这些问题会导致算法在多目标环境中的性能下降。

核心思路：论文的核心思路是通过对这两种现象的深入分析，揭示其对多目标强化学习算法性能的影响，从而为改进算法提供理论基础。

技术框架：研究采用了简单的多目标马尔可夫决策过程（MDP）作为实验平台，使用表格实现的多目标Q学习算法进行实验，分析了不同情况下的价值函数表现。

关键创新：本文的主要创新在于首次系统性地探讨了价值函数干扰和过估计敏感性对多目标强化学习的影响，这为后续研究提供了新的方向和思路。

关键设计：在实验中，采用了标准的Q学习算法框架，并通过调整奖励结构和选择策略，观察了不同设置下算法的表现，重点关注了价值函数的变化和决策过程中的干扰现象。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，价值函数干扰和过估计敏感性显著影响了多目标强化学习算法的性能。在不同的实验设置中，算法的表现波动较大，揭示了在实际应用中需要特别关注这些问题，以避免性能下降。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、资源管理等需要同时优化多个目标的场景。通过深入理解多目标强化学习中的干扰和敏感性问题，可以为实际应用中的算法设计提供指导，提升决策质量和效率。

📄 摘要（原文）

Multi-objective reinforcement learning (MORL) algorithms extend conventional reinforcement learning (RL) to the more general case of problems with multiple, conflicting objectives, represented by vector-valued rewards. Widely-used scalar RL methods such as Q-learning can be modified to handle multiple objectives by (1) learning vector-valued value functions, and (2) performing action selection using a scalarisation or ordering operator which reflects the user's preferences with respect to the different objectives. This paper investigates two previously unreported issues which can hinder the performance of value-based MORL algorithms when applied in conjunction with a non-linear utility function -- value function interference, and sensitivity to overestimation. We illustrate the nature of these phenomena on simple multi-objective MDPs using a tabular implementation of multiobjective Q-learning.