Supervise What Survives: Geometry-Guided VLA Adaptation from Synthetic Robot Videos
作者: Danze Chen, Yanzhe Chen, Qiming Huang, Zhijun Cao, Chen Gao, Mike Zheng Shou
分类: cs.RO
发布日期: 2026-06-23
备注: 14 pages, 5 figures
💡 一句话要点
提出几何引导的VLA适应方法以解决机器人视频数据稀缺问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 几何引导 机器人控制 多模态学习 数据稀缺 生成视频 动作识别
📋 核心要点
- 现有的VLA模型依赖于真实的远程操作视频数据，但这类数据稀缺，导致模型训练面临挑战。
- 本文提出几何引导表示对齐（GRA）方法，利用生成视频中的几何信息来指导视觉感知，而控制信号则依赖真实示范。
- 实验结果表明，GRA在真实机器人任务中超越了伪动作基线，并缩小了与使用更多真实示范训练的策略之间的差距。
📝 摘要（中文）
视觉-语言-动作（VLA）模型需要大规模的视频-动作对，但真实的远程操作数据稀缺。虽然生成的机器人视频提供了可扩展的替代方案，但现有方法将其视为真实数据，恢复伪动作。本文提出了不对称保留原则，强调生成视频应仅用于监督视觉感知，而控制信号应依赖真实示范。基于此原则，提出了几何引导表示对齐（GRA）方法，通过姿态估计等技术提取几何内容，并将其作为未来的2D末端执行器路径点，最终在真实机器人任务中表现优于伪动作基线。
🔬 方法详解
问题定义：本文旨在解决现有VLA模型在缺乏真实远程操作视频数据时的训练问题。现有方法将生成视频视为真实数据，恢复伪动作，导致控制信号的丢失。
核心思路：提出不对称保留原则，强调生成视频中的几何信息应仅用于视觉感知的监督，而控制信号应依赖真实示范。基于此原则，设计了几何引导表示对齐（GRA）方法。
技术框架：GRA方法包括几个主要模块：首先通过姿态估计从源人类视频中提取几何内容，然后进行重定向、仿真和标定投影，最终将其作为2D末端执行器路径点输入VLA视觉主干，并通过辅助2D头进行处理。动作头仅在真实示范上进行训练。
关键创新：GRA方法的核心创新在于将几何信息作为空间表示锚点，防止主干网络失去几何基础，确保生成视频与机器人策略之间的可靠连接。
关键设计：在训练过程中，设置了路径点损失作为空间表示锚点，确保几何信息的有效传递。网络结构中，主干网络与辅助头的设计使得几何信息能够有效引导视觉感知。具体的损失函数和参数设置在实验中经过优化。
🖼️ 关键图片
📊 实验亮点
在真实机器人任务中，GRA方法在匹配数据预算下超越了伪动作基线，且与使用更多真实示范训练的策略之间的性能差距显著缩小，表明几何信息的有效利用能够更可靠地连接生成视频与机器人策略。
🎯 应用场景
该研究在机器人控制和人机交互领域具有广泛的应用潜力。通过有效利用生成视频中的几何信息，GRA方法能够提高机器人在复杂任务中的表现，促进智能机器人在实际环境中的应用，尤其是在数据稀缺的情况下。未来，该方法还可能扩展到其他多模态学习任务中。
📄 摘要（原文）
Vision-Language-Action (VLA) models require large-scale video-action pairs, yet real teleoperation remains scarce. While generated robot videos offer a scalable alternative, existing methods treat them as real robot data by recovering pseudo-actions from synthesized pixels. We argue that deriving low-level control from generated visuals is a mismatched abstraction. A video captures only \emph{geometry}: the spatial trajectory representing the \emph{where} of a task. A real demonstration captures \emph{control}: the exact motor commands representing the \emph{how}. Human-to-robot video generation preserves these unequally: the visible geometry survives the generation process, while the underlying control signals are lost. This \textbf{Asymmetric Preservation Principle} dictates a clean rule: this surviving geometry should solely supervise visual perception, leaving control to real demonstrations. Following this principle, we propose \textbf{GRA} (\textbf{G}eometry-guided \textbf{R}epresentation \textbf{A}lignment), which extracts the geometric content as future 2D end-effector waypoints, computed from the source human video through pose estimation, retargeting, simulation, and calibrated projection, and routes them to the VLA vision backbone via an auxiliary 2D head. The action head is trained on real demonstrations only. During fine-tuning, the waypoint loss persists as a \textbf{spatial representation anchor} that prevents the backbone from losing its geometric grounding. On real-robot tasks, GRA outperforms pseudo-action baselines under matched data budgets and narrows the gap to policies trained with substantially more real demonstrations, suggesting that correctly routed geometry bridges generated videos to robot policies more reliably than recovered actions.