Regularized Reward-Punishment Reinforcement Learning

📄 arXiv: 2606.28152v1 📥 PDF

作者: Jiexin Wang, Eiji Uchibe

分类: cs.LG, cs.RO

发布日期: 2026-06-26

💡 一句话要点

提出KL耦合策略正则化以解决奖励-惩罚强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 奖励-惩罚强化学习 KL耦合策略正则化 策略协调 深度强化学习 机器人导航

📋 核心要点

  1. 现有的奖励-惩罚强化学习方法通常独立优化奖励和惩罚策略，导致策略间缺乏有效的交互与协调。
  2. 本文提出的KCPR框架允许奖励和惩罚策略之间的直接交互，从而实现动态学习和优化。
  3. 在网格世界和Gazebo机器人导航任务中的实验表明，klDMP在安全性和学习稳定性上优于传统方法，同时保持了良好的任务性能。

📝 摘要（中文）

本文提出了KL耦合策略正则化（KCPR），这是一个用于奖励-惩罚强化学习（RPRL）的策略协调框架。基于KCPR，我们推导出KL耦合软最优性（KCSO），并开发了其深度实现klDMP。与现有的RPRL方法主要独立优化奖励和惩罚相关策略不同，KCPR通过将每个策略视为另一个策略的动态学习先验，促进了伴随策略之间的直接交互。KCSO产生耦合的软最优策略和KL正则化的贝尔曼算子，使得奖励和惩罚信息能够共同影响价值传播。为了提高学习的稳定性，我们引入了伴随先验软化机制，并评估了不同的重放缓冲区设计，以平衡奖励和惩罚相关的经验。实验结果表明，klDMP在安全性和学习稳定性方面有所提升，同时与DQN、SQL和softDMP相比，保持了竞争性的任务性能。

🔬 方法详解

问题定义：现有的奖励-惩罚强化学习方法通常将奖励和惩罚策略独立优化，导致策略间缺乏有效的交互，影响学习效果和稳定性。

核心思路：本文提出的KCPR框架通过将每个策略视为另一个策略的动态学习先验，促进了奖励和惩罚策略之间的直接交互，从而实现更有效的策略协调。

技术框架：整体架构包括KCPR框架、KL耦合软最优性（KCSO）推导以及klDMP的深度实现，主要模块包括策略协调、价值传播和重放缓冲区设计。

关键创新：KCPR的核心创新在于策略间的动态交互机制，使得奖励和惩罚信息能够共同影响策略优化过程，显著提升了学习的稳定性和安全性。

关键设计：在设计中引入了伴随先验软化机制，并针对奖励和惩罚经验设计了不同的重放缓冲区，以平衡两者的学习效果。具体的损失函数和网络结构细节在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，klDMP在网格世界和Gazebo机器人导航任务中，相较于DQN、SQL和softDMP，提升了安全性和学习稳定性，同时保持了竞争性的任务性能，证明了策略级协调的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、游戏智能体和多目标优化等场景。通过有效整合奖励与惩罚机制，能够提升智能体在复杂环境中的决策能力和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

We propose KL-Coupled Policy Regularization (KCPR), a policy coordination framework for Reward-Punishment Reinforcement Learning (RPRL). Based on KCPR, we derive KL-Coupled Soft Optimality (KCSO) and develop its deep realization, klDMP. Unlike existing RPRL approaches that optimize reward-seeking and punishment-related policies largely independently, KCPR enables direct interactions between companion policies by treating each as a dynamically learned prior for the other. KCSO yields coupled soft-optimal policies and KL-regularized Bellman operators, allowing reward and punishment information to jointly influence value propagation. To improve learning stability, we introduce a companion-prior softening mechanism and evaluate separate replay-buffer designs for balancing reward- and punishment-related experience. Experiments in grid-world and Gazebo robotic navigation tasks demonstrate that klDMP improves safety and learning stability while maintaining competitive task performance compared with DQN, SQL and softDMP. These results suggest that policy-level coordination provides an effective mechanism for integrating multiple behavioral objectives and may serve as a useful design principle for reinforcement learning systems with interacting motivational processes.