Uncertainty Quantification for Flow-Based Vision-Language-Action Models

📄 arXiv: 2606.18043v1 📥 PDF

作者: Ralf Römer, Maximilian Seeliger, Saida Liu, Ben Sturgis, Marco Bagatella, Daniel Marta, Andreas Krause, Angela P. Schoellig

分类: cs.RO, cs.LG

发布日期: 2026-06-16

备注: Project page: tum-lsy.github.io/uq_vla/. 28 pages, 12 figures

💡 一句话要点

提出一种不确定性量化方法以提升流基视觉-语言-动作模型的可靠性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不确定性量化 视觉-语言-动作模型 流匹配 故障检测 主动微调 机器人操作 动态环境

📋 核心要点

  1. 现有的视觉-语言-动作模型在实际应用中缺乏量化预测信心的机制，导致在未知环境中可能出现不可靠的行为。
  2. 本文提出了一种基于速度场不一致性（VFD）的方法，能够有效量化流匹配模型的认知不确定性，并用于故障检测和主动微调。
  3. 实验结果表明，VFD提供的更好不确定性估计显著提升了故障检测能力，并且SAVE框架减少了至少22%的样本需求。

📝 摘要（中文）

视觉-语言-动作模型（VLA）结合了视觉-语言骨干和通过流匹配训练的生成动作头，尽管在机器人操作中表现出色，但缺乏量化预测信心的机制，导致在非静态环境中可能出现不可靠的行为。为了解决这一问题，本文提出了一种高效的方法，通过小型集成中的速度场不一致性（VFD）来量化流匹配模型的认知不确定性。我们成功地利用这一不确定性估计进行故障检测和流基VLA的主动微调。通过在LIBERO基准上的广泛实验，我们证明了VFD能够提供更好的不确定性估计，且在故障检测中表现出色，SAVE框架的主动数据获取比基线减少了至少22%的样本需求。总之，我们的研究表明，量化流基VLA中的认知不确定性能够提升故障意识和适应能力。

🔬 方法详解

问题定义：本文旨在解决流基视觉-语言-动作模型在实际应用中缺乏不确定性量化的问题。现有方法在面对非静态环境时，无法有效检测何时模型的预测可能不可靠，导致潜在的失败风险。

核心思路：论文提出通过速度场不一致性（VFD）来量化模型的认知不确定性。该方法利用小型集成模型之间的预测差异，提供对模型信心的有效估计，从而在部署过程中进行故障检测和主动微调。

技术框架：整体架构包括不确定性量化模块、故障检测模块和主动微调模块。首先，通过VFD计算不确定性，然后利用该信息进行故障检测，最后在SAVE框架下进行主动微调以适应新任务。

关键创新：最重要的技术创新在于提出了VFD作为一种新的不确定性量化方法，能够在流基模型中有效地识别潜在的失败情况。这一方法与现有的基于概率的方法相比，提供了更高的准确性和可靠性。

关键设计：在实现过程中，关键参数包括集成模型的数量、速度场的计算方式以及损失函数的设计。通过优化这些参数，确保了不确定性估计的准确性和模型的适应性。具体的网络结构设计和损失函数选择也对最终性能有显著影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VFD方法提供的不确定性估计在故障检测中表现优异，成功识别出多种潜在失败情况。此外，使用SAVE框架进行主动数据获取时，样本需求减少了至少22%，显著降低了适应新任务的成本。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动驾驶和人机交互等场景。在这些领域中，模型需要在动态和不确定的环境中做出决策，因此量化不确定性能够显著提升系统的安全性和可靠性。未来，该方法有望推广到更多需要实时决策的智能系统中。

📄 摘要（原文）

Vision-language-action models (VLAs) combine vision-language backbones with expressive generative action heads trained via flow matching on large-scale robotic datasets. Despite their strong empirical performance in robotic manipulation, VLAs lack mechanisms to quantify confidence in their predictions and to detect when their actions may be unreliable. This presents a critical limitation for real-world deployment in non-stationary environments, where models inevitably encounter scenarios outside their pretraining distribution and may fail without warning. To address this, we derive an efficient method for quantifying epistemic uncertainty in flow-matching models by leveraging velocity-field disagreement (VFD) across a small ensemble. We successfully use this uncertainty estimate for failure detection during deployment and active fine-tuning of flow-based VLAs. To this end, we propose SAVE, a framework for uncertainty-guided active multitask fine-tuning that reduces the number of costly expert demonstrations required to adapt VLAs to new tasks. Through extensive experiments on the LIBERO benchmark, we demonstrate that VFD yields better-calibrated uncertainty estimates predictive of downstream performance, that VFD achieves strong performance in detecting failures, and that uncertainty-guided data acquisition with SAVE requires at least 22% fewer samples than baselines. In summary, our work shows that quantifying epistemic uncertainty in flow-based VLAs improves both failure awareness and adaptation. Project website: tum-lsy.github.io/uq_vla/.