FlowR2A: Learning Reward-to-Action Distribution for Multimodal Driving Planning
作者: Xirui Li, Zhe Liu, Xiaoqing Ye, Wenhua Han, Yifeng Pan, Junyu Han, Hengshuang Zhao
分类: cs.AI
发布日期: 2026-06-23
备注: Project page: https://lixirui142.github.io/flowr2a-ad
💡 一句话要点
提出FlowR2A以解决多模态驾驶规划中的奖励与动作分布问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态驾驶规划 奖励条件学习 生成模型 流匹配解码器 自动驾驶技术
📋 核心要点
- 现有多模态驾驶规划方法在密集奖励监督与动态提案生成之间存在矛盾，导致性能受限。
- FlowR2A通过将奖励从判别目标转变为生成条件，学习奖励条件的动作分布，统一了两种方法的优点。
- 在NAVSIM v1和v2基准测试中，FlowR2A实现了最先进的结果，生成的提案质量显著提升。
📝 摘要（中文）
多模态驾驶规划面临评分方法与锚点方法之间的长期矛盾：评分方法依赖于密集奖励监督但受限于固定动作词汇，而锚点方法动态生成提案但监督稀疏且仅限于单一真实轨迹。本文提出FlowR2A，通过将基于模拟的奖励从判别目标重新构建为生成条件，解决了这一矛盾。FlowR2A利用流匹配解码器从密集轨迹-奖励对中学习奖励条件的动作分布，统一了评分方法的密集监督与锚点方法的提案生成。为平衡硬性安全约束与软性进展目标，本文引入了细粒度的逐时奖励条件和奖励噪声增强。该生成框架自然支持可控的测试时采样，生成高质量的提案。FlowR2A在NAVSIM v1和v2基准测试中取得了最先进的结果，生成的多模态提案质量显著高于以往方法。
🔬 方法详解
问题定义：本文旨在解决多模态驾驶规划中评分方法与锚点方法之间的矛盾。现有方法在密集奖励监督与动态提案生成上各有不足，导致整体性能受限。
核心思路：FlowR2A的核心思路是将基于模拟的奖励从判别目标转变为生成条件，通过学习奖励条件的动作分布，结合两种方法的优点，提升模型的表现。
技术框架：FlowR2A的整体架构包括流匹配解码器、奖励条件模块和噪声增强机制。首先，通过流匹配解码器从密集轨迹-奖励对中学习动作分布，然后引入细粒度的逐时奖励条件，最后通过奖励噪声增强来提高模型的鲁棒性。
关键创新：FlowR2A的主要创新在于将奖励条件的学习与生成模型结合，打破了传统方法的限制，使得模型能够在安全、进展、舒适性和规则遵循之间进行有效的权衡。
关键设计：在设计中，FlowR2A采用了细粒度的逐时奖励条件设置，并引入了奖励噪声增强技术，以提升模型在复杂环境下的表现。
🖼️ 关键图片
📊 实验亮点
FlowR2A在NAVSIM v1和v2基准测试中取得了最先进的结果，生成的多模态提案质量显著高于以往方法，具体性能提升幅度未知，展示了其在复杂驾驶场景中的优越性。
🎯 应用场景
该研究在自动驾驶、智能交通系统等领域具有广泛的应用潜力。通过提高多模态驾驶规划的效率和安全性，FlowR2A能够为未来的智能驾驶技术提供更为可靠的解决方案，推动相关技术的进步与普及。
📄 摘要（原文）
Multimodal driving planning faces a long-standing tension between two paradigms: scoring-based methods benefit from dense reward supervision but are confined to a fixed action vocabulary, while anchor-based methods generate proposals dynamically yet suffer from sparse supervision constrained to a single ground-truth trajectory. In this work, we propose FlowR2A, which resolves this tension by reframing simulation-based rewards from discriminative targets into generative conditions. By learning the reward-conditioned action distribution from dense trajectory-reward pairs with a flow-matching decoder, FlowR2A unifies the dense supervision of scoring-based methods with the proposal generation of anchor-based methods in a single generative model, forcing the model to internalize the correlation between an action and its outcomes in safety, progress, comfort, and rule compliance. To balance hard safety constraints against soft progress objectives, we introduce fine-grained per-timestep reward conditioning and reward noise augmentation. The generative formulation naturally supports controllable test-time sampling via reward guidance and anchored sampling, producing high-quality proposals. FlowR2A achieves state-of-the-art results on the NAVSIM v1 and v2 benchmarks, with multimodal proposals of substantially higher quality than prior methods.