Density-Aware Reward Scaling: A Reinforcement Learning Framework for Reward-Proportional Sampling

📄 arXiv: 2611.04792v1 📥 PDF

作者: Ria Shekhawat, Abhijeet Sinha, Yingtao Zhu, Dianbo Liu

分类: cs.LG, cs.AI

发布日期: 2026-11-03

💡 一句话要点

提出密度感知奖励缩放以解决强化学习中的奖励多样性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 密度感知 奖励缩放 强化学习 多模态导航 文本到图像生成 策略梯度 多样性提升

📋 核心要点

  1. 现有强化学习方法在最大化期望回报时，容易导致高回报结果的集中，限制了解决方案的多样性。
  2. 本文提出的密度感知奖励缩放（DARS）机制，通过估计局部结果密度来反向缩放奖励，促进奖励比例采样。
  3. 在多模态导航任务和文本到图像适应中，DARS-GRPO显著提高了结果的多样性和语义一致性，避免了单模崩溃现象。

📝 摘要（中文）

强化学习目标在最大化期望回报时，可能会将概率质量集中在少数高回报结果上，从而限制多样性，尤其是在需要多个不同解决方案的场景中。本文提出了一种简单的奖励处理机制——密度感知奖励缩放（DARS），旨在促进连续结果空间中的奖励比例采样，同时保持标准的策略梯度训练。DARS通过估计每个在政策回滚组内的结果局部密度，并根据该密度反向缩放奖励。该方法不需要学习密度模型、辅助目标、评论者或对基础策略梯度目标的修改。在一个受控的多模态导航任务中，DARS-GRPO避免了GRPO表现出的单模崩溃，并能接近恢复目标模式分配。在文本到图像的提示适应中，DARS-GRPO在各数据集、策略语言模型和奖励设置中持续改善图像和提示的多样性，同时保持良好的语义一致性。这些结果表明，密度感知奖励缩放为在现有强化学习流程中提高多样性高回报结果的覆盖提供了一种轻量级的方法。

🔬 方法详解

问题定义：本文旨在解决强化学习中奖励集中导致的多样性不足问题。现有方法如GRPO在多模态任务中容易出现单模崩溃，无法有效探索多种高回报结果。

核心思路：DARS通过估计每个策略回滚组内的局部结果密度，反向缩放奖励，从而实现奖励的比例采样。这种设计使得在训练过程中能够更好地覆盖多样化的高回报结果。

技术框架：DARS的整体架构包括奖励处理模块和策略梯度训练模块。首先，在每次回滚中估计当前结果的局部密度，然后根据该密度调整奖励，最后使用标准的策略梯度方法进行训练。

关键创新：DARS的主要创新在于不依赖于学习密度模型或额外的辅助目标，简化了训练过程，同时有效提升了多样性。这与传统方法的复杂性形成鲜明对比。

关键设计：DARS的关键设计包括局部密度的估计方法和反向缩放的具体实现，确保了在不同的奖励设置和数据集上均能保持良好的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多模态导航任务中，DARS-GRPO有效避免了单模崩溃，恢复了目标模式分配。在文本到图像适应中，DARS-GRPO在多个数据集上显著提高了图像和提示的多样性，保持了良好的语义一致性，展示了其在不同奖励设置下的强大适应能力。

🎯 应用场景

该研究的潜在应用领域包括多模态学习、机器人导航和生成模型等。通过提高高回报结果的多样性，DARS可以在实际应用中增强系统的灵活性和适应性，推动智能系统在复杂环境中的表现。

📄 摘要（原文）

Reinforcement learning objectives that maximize expected return can concentrate probability mass on a small subset of high-reward outcomes, limiting diversity when multiple distinct solutions are desirable. We introduce Density-Aware Reward Scaling (DARS), a simple reward-processing mechanism that promotes reward-proportional sampling in continuous outcome spaces while retaining standard policy-gradient training. DARS estimates the local density of outcomes within each on-policy rollout group and inversely scales rewards by this density. The method requires no learned density model, auxiliary objective, critic, or modification to the underlying policy-gradient objective. In a controlled multimodal navigation task, DARS-GRPO avoids the single-mode collapse exhibited by GRPO and closely recovers the target mode allocation. Applied to text-to-image prompt adaptation, DARS-GRPO consistently improves image and prompt diversity across datasets, Policy LMs, and reward settings while maintaining good semantic alignment. These results show that density-aware reward scaling provides a lightweight way to improve coverage of diverse high-reward outcomes within existing reinforcement-learning pipelines.