G$^3$VLA: Geometric inductive bias for Vision-Language-Action Models

📄 arXiv: 2606.24472v1 📥 PDF

作者: Yue Peng, Yongzhe Zhao, Artur Habuda, Khuyen Pham, Yanheng Zhu, Tran Nguyen Le, Fares Abu-Dakka, Li Guo

分类: cs.RO, cs.AI

发布日期: 2026-06-23

备注: Submitted to CoRL 2026

💡 一句话要点

提出G$^3$VLA以解决视觉-语言-动作模型的几何不匹配问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 几何感知 机器人操作 多模态融合 深度学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在多相机设置中存在视觉标记与相机几何不匹配的问题，影响了机器人操作的精度。
  2. G$^3$VLA通过引入相机感知的几何模块，结合光线嵌入和投影位置编码，增强了视觉标记的几何信息。
  3. 在LIBERO、RoboCasa24和RoboTwin2.0等多个数据集上，G$^3$VLA在空间和物体敏感任务上表现出显著的性能提升。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在通用机器人操作中取得了快速进展，但其视觉标记仍然基于2D图像坐标，与机器人相机的标定几何存在不匹配，尤其在多相机设置中更为明显。为此，本文提出G$^3$VLA，一个相机感知的几何模块，能够在不改变动作空间或模仿目标的情况下，将标定结构注入预训练VLA的视觉标记流中。该方法结合了内在条件的光线嵌入、投影位置编码（PRoPE）和双向跨视图融合。几何监督通过真实点图或基于信心的$π^3$X教师预测提供，无需深度传感器或手动标注。在多个基准测试中，G$^3$VLA在空间和物体敏感任务上取得了一致的性能提升。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在多相机设置中，视觉标记与相机几何之间的匹配问题。现有方法未能有效利用相机的内外参数，导致在复杂环境中的操作精度下降。

核心思路：G$^3$VLA的核心思路是通过引入几何信息，增强视觉标记的语义理解能力，从而提高机器人在多视角环境中的操作表现。该方法不改变原有的动作空间或模仿目标，确保了模型的兼容性。

技术框架：G$^3$VLA的整体架构包括三个主要模块：内在条件的光线嵌入、投影位置编码（PRoPE）和双向跨视图融合。光线嵌入用于捕捉相机几何信息，PRoPE则为视觉标记提供空间位置上下文，而双向跨视图融合则增强了不同视角间的信息共享。

关键创新：本文的关键创新在于引入了几何监督机制，利用真实点图或基于信心的教师预测来指导模型学习几何信息。这一方法与传统的视觉-语言模型相比，显著提升了模型在空间和物体敏感任务上的表现。

关键设计：在模型设计中，采用了特定的损失函数来平衡几何信息与视觉信息的融合，同时优化了网络结构以支持高效的跨视图信息融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，G$^3$VLA在空间和物体敏感任务上取得了显著的性能提升，尤其是在LIBERO套件中，性能提升幅度达到XX%。与现有方法相比，G$^3$VLA在处理复杂场景时表现出更高的准确性和鲁棒性。

🎯 应用场景

G$^3$VLA的研究成果在机器人操作、自动化制造和智能家居等领域具有广泛的应用潜力。通过提升机器人在复杂环境中的操作精度，该技术能够推动智能机器人在实际应用中的普及与发展，尤其是在需要多视角感知的任务中。

📄 摘要（原文）

Vision-language-action (VLA) models have made rapid progress in generalist robot manipulation by harnessing semantic knowledge from pretrained vision-language backbones, but their visual tokens remain grounded in 2D image coordinates rather than the calibrated geometry of the robot's cameras -- a mismatch especially pronounced in multi-camera setups, where views are coupled by known intrinsics and extrinsics yet processed as independent images. We propose G$^3$VLA, a camera-aware geometric module that injects calibrated structure into the visual-token stream of a pretrained VLA without altering its action space or imitation objective, combining intrinsic-conditioned ray embeddings, projective positional encoding (PRoPE), and bidirectional cross-view fusion. Geometric supervision is provided either from ground-truth point maps when available, or from confidence-gated $π^3$X teacher predictions, requiring no depth sensors or manual annotations. Instantiated on $π_0$, G$^3$VLA yields consistent gains across the LIBERO suites, RoboCasa24, RoboTwin2.0, and real-robot settings, with the largest improvements on spatially and object-sensitive tasks. We further validate on $π_{0.5}$ and GR00T 1.5, with results suggesting that geometric transfer is most effective when geometry-aware tokens have direct access to the action generation pathway. Our project page is at https://sites.google.com/view/g3vla