Cross-View Action Consistency for Camera-Robust Vision-Language-Action Policies

📄 arXiv: 2608.06965v1 📥 PDF

作者: Bingqi Huang, Bingchuan Wei, Xuan Wang, Yingkai Cai, Zhaokui Wang

分类: cs.RO

发布日期: 2026-08-07

💡 一句话要点

提出跨视角动作一致性方法以解决相机鲁棒性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 相机鲁棒性 动作流速度场 多模态学习 机器人操作

📋 核心要点

  1. 现有的视觉-语言-动作策略在相机移动时表现不佳，无法适应相同任务和环境下的视角变化。
  2. 本文提出了一种通过正则化动作流速度场的方法，利用场景图像和语言信息来增强模型的视角鲁棒性。
  3. 在LIBERO-Plus数据集上，所提方法的性能提升达到了87.2%，相较于基线方法有显著提高，并在真实机器人上验证了有效性。

📝 摘要（中文）

本文研究了在相机移动时，基于固定场景相机微调的视觉-语言-动作（VLA）策略的鲁棒性问题。我们提出了一种仅使用场景RGB图像、语言和本体感知的方法，而不依赖相机标签、外部参数、深度或点云输入。通过对动作流速度场进行正则化，我们构建了动作等效视角对，并在LIBERO-Plus数据集上实现了显著的性能提升，验证了该方法在真实机器人上的有效性。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作策略在相机视角变化时的鲁棒性问题。现有方法依赖于固定相机视角，导致在相机移动时性能下降，无法适应相同任务和环境下的变化。

核心思路：我们提出了一种新的方法，通过仅使用场景RGB图像、语言和本体感知信息，避免使用相机标签和深度信息，来增强模型的视角鲁棒性。通过对动作流速度场进行正则化，确保在不同视角下的动作一致性。

技术框架：整体架构包括三个主要模块：首先，构建动作等效视角对，通过重置LIBERO演示到相同的MuJoCo状态并渲染不同视角；其次，使用流匹配对两个视角的动作进行监督；最后，通过交叉视角损失函数，鼓励在相同采样流坐标下的动作流速度一致性。

关键创新：最重要的创新点在于引入了交叉视角损失，确保在不同视角下的动作流速度一致性，从而有效提升了模型在相机移动时的鲁棒性。这一方法与传统的基于固定视角的训练方式有本质区别。

关键设计：在损失函数设计上，采用了流匹配损失和交叉视角损失，确保模型在不同视角下的动作一致性。此外，模型在训练过程中使用了大量的动作等效视角对，以增强其泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO-Plus数据集上，所提方法的成功率达到了87.2%，相比于仅使用流匹配的训练方法提升了7.4个百分点，且在真实机器人上的成功率从53.3%提升至74.4%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动驾驶和人机交互等场景，能够有效提升机器人在动态环境中的适应能力和执行效率。未来，该方法有望推广到更复杂的多模态任务中，进一步增强机器人的智能化水平。

📄 摘要（原文）

Vision-language-action (VLA) policies fine-tuned from a fixed scene camera can fail when the camera is moved, even when the task, objects, language, and robot state are unchanged. We study scene-camera viewpoint robustness using only a scene RGB image, language, and proprioception, without camera labels, extrinsics, depth, or point-cloud inputs. The wrist stream is masked throughout to prevent an unperturbed visual shortcut from confounding attribution to scene-camera variation. For flow-based VLAs, we propose to regularize the action-flow velocity field, the quantity directly integrated to generate continuous action chunks. We construct action-equivalent view pairs by resetting original LIBERO demonstrations to the same MuJoCo state and rendering nominal and perturbed scene-camera views. Both views are supervised by flow matching, while a cross-view loss encourages their predicted action-flow velocities to agree at the same sampled flow coordinates. On the LIBERO-Plus camera-perturbation track, our method reaches 87.2$\pm$0.4% (4,797 rollouts per seed across 3 training seeds), +7.4pp over flow-matching-only training on the same paired data (79.8$\pm$0.8%, also 3 seeds) and +12.5pp over naive mixed-camera SFT, while maintaining nominal-camera ID performance (95.0$\pm$0.8%; same-data FM-only: 95.0$\pm$4.3%). A shuffled-pair control collapses to 25.8%, showing that the gain depends on action-equivalent pairing. On a real robot, we evaluate three tabletop tasks with 10 rollouts per task and camera placement; held-out-camera success improves from 53.3% to 74.4% under the same single-scene-RGB inference interface.