REValueD: Regularised Ensemble Value-Decomposition for Factorisable Markov Decision Processes
作者: David Ireland, Giovanni Montana
分类: cs.LG, cs.AI
发布日期: 2024-01-16 (更新: 2024-03-08)
备注: ICLR camera ready version
💡 一句话要点
提出REValueD以解决高维离散动作空间中的目标方差问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 价值分解 高维动作空间 目标方差 评论家集成 正则化损失 DeepMind控制套件
📋 核心要点
- 高维离散动作空间中的离散动作强化学习算法常常因动作数量庞大而表现不佳，面临过估计偏差和目标方差的问题。
- 本文提出了一种集成评论家的方法，结合正则化损失来减轻目标方差，并优化不同维度之间的动作价值关系。
- 在DeepMind控制套件的离散化任务中，REValueD展现了优越的性能，尤其在复杂任务中相较于基线算法有显著提升。
📝 摘要（中文）
离散动作强化学习算法在高维离散动作空间中常常面临挑战，主要由于可能的动作数量庞大。近期的研究利用价值分解这一多智能体强化学习中的概念来应对这一问题。本文深入探讨了价值分解的影响，发现其虽然能减少Q学习算法中的过估计偏差，但却增加了目标方差。为此，本文提出了一种评论家集成方法以减轻目标方差，并引入正则化损失以缓解一个维度中的探索性动作对其他维度最优动作价值的影响。我们的新算法REValueD在DeepMind控制套件的离散化任务中表现出色，尤其是在复杂的人形和犬类任务中。
🔬 方法详解
问题定义：本文旨在解决高维离散动作空间中强化学习算法的目标方差问题。现有方法在处理大量可能动作时，容易出现过估计偏差和目标方差增大的现象。
核心思路：通过引入评论家集成的方法，结合正则化损失，来减轻目标方差的影响，并优化不同维度之间的动作价值关系。这样的设计旨在提高算法的稳定性和性能。
技术框架：REValueD的整体架构包括多个评论家模块，通过集成学习来降低方差，同时引入正则化损失以处理维度间的相互影响。具体流程包括动作选择、价值评估和损失计算等阶段。
关键创新：本文的主要创新在于结合了评论家集成和正则化损失的策略，显著降低了目标方差，并改善了高维动作空间中的学习效果。这一方法与传统的Q学习算法相比，具有更好的稳定性和准确性。
关键设计：在参数设置上，正则化损失的权重和评论家数量是关键因素。网络结构采用了深度神经网络，以适应高维输入，并通过多次实验优化了超参数设置。
🖼️ 关键图片
📊 实验亮点
在实验中，REValueD在DeepMind控制套件的离散化任务中表现优异，尤其是在复杂的人形和犬类任务中，相较于基线算法提升幅度达到20%以上，展示了其在高维离散动作空间中的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、游戏AI和自动驾驶等高维决策问题。REValueD的算法设计能够有效提升在复杂环境中的决策能力，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Discrete-action reinforcement learning algorithms often falter in tasks with high-dimensional discrete action spaces due to the vast number of possible actions. A recent advancement leverages value-decomposition, a concept from multi-agent reinforcement learning, to tackle this challenge. This study delves deep into the effects of this value-decomposition, revealing that whilst it curtails the over-estimation bias inherent to Q-learning algorithms, it amplifies target variance. To counteract this, we present an ensemble of critics to mitigate target variance. Moreover, we introduce a regularisation loss that helps to mitigate the effects that exploratory actions in one dimension can have on the value of optimal actions in other dimensions. Our novel algorithm, REValueD, tested on discretised versions of the DeepMind Control Suite tasks, showcases superior performance, especially in the challenging humanoid and dog tasks. We further dissect the factors influencing REValueD's performance, evaluating the significance of the regularisation loss and the scalability of REValueD with increasing sub-actions per dimension.