Transport Discrepancy as a Reliability Signal for Vision-Language-Action Models
作者: Wanpeng Zhang, Ye Wang, Hao Luo, Haoqi Yuan, Yicheng Feng, Chaoyi Xu, Sipeng Zheng, Qin Jin, Zongqing Lu
分类: cs.RO
发布日期: 2026-07-05
💡 一句话要点
提出DiG模块以解决VLA模型的可靠性评估问题
🎯 匹配领域: 支柱二:RL算法与架构 (RL & Architecture) 支柱九:具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-行动 可靠性评估 特征传输 长时间预测 分布偏移 深度学习 机器人控制
📋 核心要点
- 现有的VLA模型在生成动作时缺乏可靠性评估机制,导致在分布偏移和长时间预测中性能下降。
- 提出DiG模块,通过计算观察特征与动作表示之间的传输成本,提供每一步的可靠性估计,无需额外监督。
- 实验结果显示,DiG在多种场景下均提升了成功率,尤其在面对分布偏移和长时间任务时效果显著。
📝 摘要(中文)
本文探讨了视觉-语言-行动(VLA)模型在生成连续动作时缺乏内部可靠性信号的问题。现有方法在面对分布偏移和长时间步预测时,无法有效判断预测的可靠性。我们观察到,当观察特征向动作表示的传输成本上升时,正是这种漂移发生的时刻。基于此,我们提出了DiG(Discrepancy Gate),一个轻量级的插件模块,能够计算特征之间的切片Wasserstein传输成本,并通过指数门控来调节特征精炼和训练损失。实验表明,DiG在模拟和真实场景中均能显著提高成功率,尤其在分布偏移和长时间任务中表现最佳。
🔬 方法详解
问题定义:本文旨在解决VLA模型在生成动作时缺乏可靠性信号的问题。现有方法在分布偏移和长时间预测中,无法有效判断预测的可靠性,导致性能下降。
核心思路:我们提出DiG模块,通过计算观察特征与动作表示之间的切片Wasserstein传输成本,来提供每一步的可靠性估计。这一设计使得模型能够在没有额外监督的情况下,自动检测和反应漂移现象。
技术框架:DiG模块作为插件集成到VLA模型中,主要包括特征传输成本计算、指数门控调节和特征精炼三个部分。在推理阶段,DiG还引入了迭代精炼过程,以在执行前修正动作块。
关键创新:DiG的核心创新在于利用传输成本作为可靠性信号,提供了一种新的机制来评估和提高模型的预测可靠性。这与现有方法的主要区别在于不依赖于额外的监督信号。
关键设计:DiG模块的设计包括切片Wasserstein距离的计算、通过指数门控调节特征精炼和训练损失的方式。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明,DiG模块在多个场景下均显著提高了成功率。在面对分布偏移时,成功率提升幅度达到XX%,在长时间任务中,成功率提升幅度达到YY%。这些结果验证了DiG在提高模型可靠性方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、智能助手等需要视觉与语言结合的任务。通过提高VLA模型的可靠性,能够在复杂环境中实现更高效的决策与执行,具有重要的实际价值和未来影响。
📄 摘要(原文)
Vision-language-action (VLA) models that generate continuous action chunks via flow matching lack an internal signal for judging whether a given prediction is reliable. Distribution shift and long-horizon rollouts can push backbone representations away from the region the action head decodes reliably, yet the policy has no mechanism to detect or react to this drift. We observe that the cost of transporting observation features to the action representation in a shared feature space rises precisely when such drift occurs, providing a per-step reliability estimate without extra supervision. Building on this observation, we propose DiG (Discrepancy Gate), a lightweight plug-in module for flow-matching VLA policies. DiG computes a sliced Wasserstein transport cost between backbone features and the action expert's own input projection, maps it through an exponential gate, and uses the gate to modulate both a residual feature refinement and the training loss. At inference time, the gate enables DiG-Refinefine, an iterative refinement process that corrects action chunks before execution. Experiments on both simulation and real-world scenarios show that DiG consistently improves success rates, with the largest gains under distribution shift and on long-horizon tasks.