RS-Diffuser: Risk-Sensitive Diffusion Planning with Distributional Value Guidance

📄 arXiv: 2606.27766v1 📥 PDF

作者: Shiqiang Gong

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-06-26

备注: ICIC 2026 Oral

💡 一句话要点

提出RS-Diffuser以解决离线强化学习中的风险敏感规划问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 离线强化学习 风险敏感规划 扩散模型 分布值评估 机器人导航

📋 核心要点

  1. 现有的扩散规划方法通常是风险中性的，无法有效处理罕见的灾难性结果，限制了其在安全关键领域的应用。
  2. RS-Diffuser通过引入风险敏感的引导信号，结合扩散轨迹生成和分布值评估，提供了一种灵活的风险管理策略。
  3. 在多个基准测试中，RS-Diffuser不仅提高了整体回报，还增强了最坏情况的鲁棒性，减少了安全违规事件。

📝 摘要（中文）

离线强化学习允许从固定数据集中学习策略，而无需额外的环境交互，这在安全关键应用中尤为重要。尽管基于扩散的决策方法在离线强化学习中表现出色，但现有的扩散规划器通常是风险中性的，可能忽视关键的罕见灾难性结果。为此，本文提出了RS-Diffuser，一个风险敏感的离线扩散规划框架，结合了扩散轨迹生成与分布值评估。RS-Diffuser通过量化回归学习候选计划的全回报分布，并在去噪过程中引入风险敏感的引导信号，从而灵活生成风险规避、中性或追求风险的行为。实验表明，RS-Diffuser在风险敏感的D4RL和机器人导航基准上实现了最先进的性能，提升了整体回报和最坏情况的鲁棒性，同时减少了安全违规。

🔬 方法详解

问题定义：现有的扩散规划方法在处理离线强化学习时，通常忽视了风险敏感性，导致在面对罕见但严重的后果时表现不佳。这在安全关键应用中尤为重要。

核心思路：RS-Diffuser通过结合扩散轨迹生成与分布值评估，提出了一种风险敏感的规划框架。它通过引入风险敏感的引导信号，能够根据不同的风险偏好生成相应的行为策略。

技术框架：RS-Diffuser的整体架构包括三个主要模块：扩散规划器用于生成未来状态轨迹，逆动态模型用于动作解码，以及蒙特卡洛分布值评估器用于通过量化回归估计候选计划的全回报分布。

关键创新：RS-Diffuser的创新在于引入了风险敏感的引导信号，利用尾部意识目标（如条件风险价值）来调整生成过程，从而使得模型能够灵活适应不同的风险偏好。

关键设计：在模型训练中，使用了量化回归作为损失函数，确保了对回报分布的准确估计。同时，模型的推理阶段通过调整风险参数，能够实现风险规避、中性或追求风险的行为生成。

🖼️ 关键图片

fig_0

📊 实验亮点

RS-Diffuser在风险敏感的D4RL和机器人导航基准测试中表现出色，整体回报提升了XX%，最坏情况的鲁棒性提高了YY%，同时安全违规事件减少了ZZ%。这些结果表明，该方法在实际应用中具有显著的优势。

🎯 应用场景

RS-Diffuser在安全关键的离线强化学习任务中具有广泛的应用潜力，尤其是在自动驾驶、机器人导航和医疗决策等领域。其风险敏感的特性使得系统能够在面对不确定性时，做出更为稳健的决策，从而提升安全性和可靠性。未来，该方法有望推动更多领域的智能决策系统的发展。

📄 摘要（原文）

Offline reinforcement learning enables policy learning from fixed datasets without additional environment interaction, making it appealing for safety-critical applications where online exploration is costly or unsafe. Diffusion-based decision-making methods have recently achieved strong performance in offline RL by modeling rich, multimodal trajectory distributions. However, existing diffusion planners are typically risk-neutral and therefore may overlook rare but catastrophic outcomes that are crucial in real-world deployment. In this work, we propose RS-Diffuser, a risk-sensitive offline diffusion planning framework that combines diffusion-based trajectory generation with distributional value critics. RS-Diffuser learns a diffusion planner over future state trajectories, a separate inverse dynamics model for action decoding, and a Monte Carlo distributional critic that estimates the full return distribution of candidate plans through quantile regression. At sampling time, we incorporate a risk-sensitive guidance signal into the denoising process, using gradients computed from tail-aware objectives such as Conditional Value at Risk to steer generation toward desired risk profiles. As a result, a single trained model can flexibly produce risk-averse, risk-neutral, or risk-seeking behaviors by changing only the inference-time risk parameter. Extensive experiments on risk-sensitive D4RL and risky robot navigation benchmarks demonstrate that RS-Diffuser achieves state-of-the-art performance, improving both overall return and worst-case robustness while reducing safety violations.