Repulsive Population Policy Gradients for Behaviorally Diverse Reinforcement Learning

📄 arXiv: 2610.36425v1 📥 PDF

作者: Saeed Hedayatian, Harsh Shah, Celine Mneimneh, Stefanos Nikolaidis

分类: cs.LG, cs.AI

发布日期: 2026-10-27

💡 一句话要点

提出RePPO以解决行为多样性强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 质量多样性强化学习 策略优化 动态奖励机制 机器人控制 游戏AI 自动驾驶

📋 核心要点

  1. 现有的QD-RL方法依赖于进化操作，随着策略和行为空间的增大，探索成本显著增加。
  2. RePPO通过动态塑形的奖励机制，适应性地优化一组多样化的高质量策略，克服了传统方法的局限。
  3. 在标准连续控制任务中，RePPO在质量与多样性之间取得了良好的平衡，并在像素任务和语言模型微调中展现出优越性。

📝 摘要（中文）

质量多样性强化学习（QD-RL）的目标是找到一组高性能的策略，以多样化的方式解决决策问题。尽管近期取得了一定进展，现有QD-RL方法主要依赖于进化操作，如黑箱优化、变异和交叉，这在策略和行为空间增大时变得成本高昂。基于软QD的质量多样性优化视角，本文提出了RePPO（排斥人口策略优化），该方法通过动态塑形的奖励机制，适应性地优化一组紧凑的多样化高质量策略。在标准的连续控制任务中，RePPO在质量与多样性之间取得了良好的平衡。通过消融实验，进一步分析了各个组件对个体质量和集体多样性的影响。RePPO在像素学习和大语言模型微调中的应用，首次证明了QD-RL方法可以扩展到这些领域。

🔬 方法详解

问题定义：本文旨在解决现有质量多样性强化学习方法在策略和行为空间增大时的高成本问题，现有方法主要依赖于进化操作，导致探索效率低下。

核心思路：RePPO通过动态塑形的奖励机制，优化一组紧凑的多样化高质量策略，旨在提高探索效率和策略多样性。

技术框架：RePPO的整体架构包括策略网络、动态奖励机制和多样性评估模块。策略网络用于生成策略，动态奖励机制根据策略的表现和多样性调整奖励，确保优化过程的有效性。

关键创新：RePPO的主要创新在于将动态塑形的奖励机制引入到策略优化中，使得策略的多样性和质量能够同时得到提升，这与传统的基于进化的QD-RL方法有本质区别。

关键设计：在RePPO中，奖励函数根据当前策略的表现和与其他策略的相似度动态调整，确保在优化过程中保持策略的多样性。此外，采用了紧凑的策略表示，以减少计算开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在标准连续控制任务中，RePPO在质量与多样性之间取得了良好的平衡，相较于最先进的QD-RL方法，表现出更高的多样性。在像素学习任务中，RePPO保持了与标准PPO相当的质量，同时实现了显著更高的多样性，展示了其在复杂领域的可扩展性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、游戏AI和自动驾驶等需要多样化决策的场景。通过优化多样化的策略，RePPO能够在复杂环境中提高系统的适应能力和决策效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

The goal of Quality-Diversity Reinforcement Learning (QD-RL) is to find a population of high-performing policies that solve a decision-making problem in diverse ways. Despite recent progress, QD-RL methods predominantly rely on evolutionary operators--including black-box optimizers, mutations, and crossovers--to facilitate exploration and induce diversity. Scaling these methods becomes increasingly costly as policies and behavior spaces grow larger. Building on the Soft QD view of quality-diversity optimization, we introduce \textbf{Re}pulsive \textbf{P}opulation \textbf{P}olicy \textbf{O}ptimization (\textbf{RePPO}), which adapts PPO to jointly optimize a compact population of diverse, high-quality policies using a population-dependent, dynamically shaped reward. On standard continuous-control tasks, RePPO achieves a strong quality-diversity tradeoff compared with state-of-the-art QD-RL methods. Ablations further characterize this tradeoff by examining how each component affects individual quality and collective diversity. To assess RePPO's scalability, we extend our evaluation to learning from pixels and fine-tuning large language models. In pixel-based tasks, where large policies make most traditional QD-RL methods infeasible, RePPO maintains quality on par with standard PPO while achieving substantially higher diversity. Its successful application to language model fine-tuning further demonstrates, for the first time, that QD-RL methods can scale to this domain. Together, these results show that directly optimizing compact populations with RePPO provides a scalable approach to QD-RL across increasingly complex domains.