dVLA-RL: Reinforcement Learning over Denoising Trajectories for Discrete Diffusion Vision-Language-Action Models

📄 arXiv: 2606.23623v1 📥 PDF

作者: Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

分类: cs.RO

发布日期: 2026-06-22

💡 一句话要点

提出dVLA-RL以解决离散扩散视觉-语言-动作模型的强化学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 强化学习 离散扩散模型 多任务学习 马尔可夫决策过程

📋 核心要点

  1. 现有的离散扩散VLA模型在强化学习中面临边际概率不可计算的问题，限制了其政策优化的潜力。
  2. 本文提出dVLA-RL，通过将去噪过程视为马尔可夫决策过程，转向联合概率的学习目标，解决了现有方法的不足。
  3. 实验结果显示，dVLA-RL在LIBERO上取得99.7%的成功率，并在RoboTwin 2.0上相较于SFT基线提升30.6%。

📝 摘要（中文）

视觉-语言-动作（VLA）模型为通用机器人操作建立了强大的范式，通过将控制与视觉语言模型的语义推理相结合。现有的离散扩散VLA（dVLA）方法主要依赖于监督微调（SFT），而强化学习（RL）的潜力尚未得到充分探索。本文提出dVLA-RL，通过将学习目标从边际动作概率转移到采样生成路径的联合概率，解决了dVLA在RL中的边际概率不可计算的问题。通过将去噪过程建模为马尔可夫决策过程（MDP），我们提出了一种统一的步骤调度方法，以适应复杂的多任务学习。实验结果表明，该方法在LIBERO上取得了99.7%的成功率，并在RoboTwin 2.0上相较于SFT基线提升了30.6%。

🔬 方法详解

问题定义：本文旨在解决离散扩散视觉-语言-动作模型在强化学习中的边际概率不可计算问题。现有方法主要依赖于监督微调，未能充分利用强化学习的潜力。

核心思路：我们提出dVLA-RL，通过将学习目标从边际动作概率转移到采样生成路径的联合概率，利用马尔可夫决策过程（MDP）建模去噪过程，从而实现更有效的政策优化。

技术框架：整体架构包括去噪过程的建模、路径概率的计算以及步骤调度的设计。具体而言，路径概率被表示为逐步转移的乘积，允许灵活的去噪步骤设置。

关键创新：最重要的技术创新在于将去噪过程视为MDP，并提出了基于路径概率的学习目标。这一方法与传统的边际概率计算方法本质上不同，提供了更高的灵活性和适应性。

关键设计：在关键设计上，我们引入了统一的步骤调度方法，以适应不同任务的复杂性，并优化成功率和计算效率。此外，损失函数和网络结构的设计也经过精心调整，以支持多任务学习的需求。

📊 实验亮点

实验结果显示，dVLA-RL在LIBERO数据集上取得了99.7%的成功率，显著优于现有方法。此外，在RoboTwin 2.0上，该方法相较于SFT基线提升了30.6%，展现出强大的性能优势。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化控制和人机交互等。通过提升机器人在复杂环境中的操作能力，dVLA-RL有望在实际应用中实现更高的成功率和效率，推动智能机器人技术的发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models have established a powerful paradigm for generalist robotic manipulation by grounding control into the semantic reasoning of VLMs. Prevailing architectures typically model actions continuously via diffusion or flow processes, or discretely through either autoregressive generation or parallel decoding. Recently, Discrete Diffusion VLAs (dVLAs) have emerged as a distinct alternative, unifying vision, language, and action into a single discrete token space via masked generative modeling. While combining iterative refinement with unified representations, its training has thus far been restricted to Supervised Fine-Tuning (SFT), leaving the potential of Reinforcement Learning (RL) for further policy refinement largely unexplored. A fundamental challenge in RL for dVLAs is that the marginal probability of the final action generated by dVLAs remains intractable. To solve this problem, we propose \textbf{dVLA-RL}, shifting the learning objective from the marginal action probability to the joint probability of the sampled generation path. Specifically, by modeling the denoising process as a Markov Decision Process (MDP), we mathematically formulate this path probability as a product of step-wise transitions. This trajectory-level objective provides a unified formulation that natively accommodates variable denoising steps. Leveraging this intrinsic fexibility, we introduce a unified step scheduling approach for complex multi-task learning, tailoring denoising steps to specific task complexities to maximize both success rates and computational effciency. Extensive evaluations demonstrate that our approach achieves a success rate of \textbf{99.7\%} on LIBERO. Furthermore, it establishes strong VLA-based results on RoboTwin 2.0 by delivering a \textbf{30.6\%} improvement over the SFT baseline, remaining competitive with strong World-Action Model baselines.