Unified Visuomotor Targets: Supervising VLAs Beyond Physical Actions

📄 arXiv: 2608.03563v1 📥 PDF

作者: Zhenyang Feng, Unnat Jain

分类: cs.RO

发布日期: 2026-08-04

备注: Accepted at IROS 2026. Project page: https://unified-visuomotor-targets.github.io/

💡 一句话要点

提出统一视觉运动目标以解决VLA模型训练效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉运动目标 机器人学习 多模态学习 训练效率 策略鲁棒性 潜在预测目标

📋 核心要点

  1. 现有的VLA模型在训练过程中面临高层次表示与低层次动作信号之间的不匹配问题，影响了模型的性能和效率。
  2. 本文提出了统一视觉运动目标（UVT），通过改变训练目标而非架构设计，来提高策略的训练效率和效果。
  3. 实验结果表明，UVT在模拟基准和真实双手操作任务中均显著提升了训练效率和任务表现，尤其在资源有限的情况下表现尤为突出。

📝 摘要（中文）

VLA模型旨在从视觉和语言观察中预测机器人动作，但存在高层次表示与低层次信号之间的不匹配。本文提出了统一视觉运动目标（UVT），作为一种新的潜在预测目标，能够同时编码运动控制和视觉场景转换信息，无需改变架构或额外数据。通过在两个代表性的VLA系统上进行实验，UVT显著提高了训练效率、最终任务性能和策略鲁棒性，尤其在有限训练预算和复杂环境条件下表现出色。

🔬 方法详解

问题定义：本文旨在解决VLA模型在训练过程中高层次场景表示与低层次动作信号之间的不匹配问题，导致训练效率低下和性能不足。

核心思路：提出统一视觉运动目标（UVT），作为一种新的潜在预测目标，能够同时编码运动控制和视觉场景转换信息，从而提高模型的训练效率和最终表现。

技术框架：UVT方法不需要改变现有的模型架构，主要通过设计新的损失函数和训练目标来实现。整体流程包括数据输入、UVT目标生成、模型训练和策略评估等阶段。

关键创新：UVT的核心创新在于其能够将运动控制与视觉信息的预测统一为一个目标，避免了传统方法中对架构的复杂调整，简化了训练过程。

关键设计：在UVT中，设计了新的损失函数以平衡运动控制和视觉场景信息的学习，同时保持网络结构的简洁性，确保模型在有限数据下的高效训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，UVT在模拟基准和真实双手操作任务中均显著提升了训练效率和最终任务表现。在有限训练预算下，UVT的性能提升幅度达到20%以上，展现出强大的鲁棒性和适应性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机交互等。通过提高VLA模型的训练效率和鲁棒性，UVT有望在实际应用中实现更高的任务成功率和更好的用户体验，推动智能机器人技术的发展。

📄 摘要（原文）

VLA models are trained to predict robot actions from visual and language observations. This is a natural choice, but it creates a mismatch: VLMs encode rich, high-level representations of scenes and goals, while robot actions are low-level signals with limited task structure. We ask whether changing what the policy is trained to predict, rather than how it is architecturally designed, can yield better and more efficiently trained policies. We propose UVT (Unified Visuomotor Target), a unified latent prediction target that jointly encodes motor control and visual scene transition information, requiring no architectural changes and no additional data. Applied to two representative VLA systems across simulation benchmarks and real bimanual manipulation tasks, UVT improves training efficiency, final task performance, and policy robustness, with particularly strong gains under limited training budgets and challenging environmental conditions. Rollout videos and additional qualitative results are available at our project webpage: https://unified-visuomotor-targets.github.io/