InternVLA-A1.5: Unifying Understanding, Latent Foresight, and Action for Compositional Generalization

📄 arXiv: 2607.04988v1 📥 PDF

作者: Haoxiang Ma, Junhao Cai, Xiaoxu Xu, Hao Li, Yuyin Yang, Yang Tian, Jiafei Cao, Hongrui Zhu, Zherui Qiu, Zhaxizhuoma, Yuqiang Yang, Jiaqi Peng, Xueyuan Wei, Yangkun Zhu, Jiahao Jiang, Xing Gao, Hanqing Wang, Feng Yuan, Kailin Li, Xueyue Zhu, Tai Wang, Yan Ding, Jiangmiao Pang, Jia Zeng, Jingjing Zhang, Bowen Zhou, Yao Mu, Chunhua Shen, Weinan Zhang

分类: cs.RO

发布日期: 2026-07-06

备注: Homepage: https://internrobotics.github.io/internvla-a15.github.io/

💡 一句话要点

提出InternVLA-A1.5以解决机器人操作中的语义与动态预测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 视觉语言模型 动态预测 组合泛化 多模态学习 未来预测 实时控制

📋 核心要点

  1. 现有的机器人操作模型在语义理解和动态预测方面存在不足，导致性能受限。
  2. InternVLA-A1.5通过在视觉语言模型的基础上进行训练，并引入轻量级专家，实现了语义与动态的统一。
  3. 该模型在六个仿真基准上表现优异，并在实际应用中展现出强大的组合泛化能力。

📝 摘要（中文）

统一的机器人操作模型旨在将预训练视觉语言模型的语义先验与通过未来预测学习的物理动态结合。然而，现有设计往往削弱了预训练骨干的语义，且在异构目标间存在干扰，同时在像素空间中从零开始学习未来预测，未能利用预训练视频生成模型的动态先验。本文提出的InternVLA-A1.5基于原生视觉语言模型骨干，继续在视觉问答和子任务预测上进行训练，并附加一个轻量级的统一专家以生成连续动作。未来预测被重新定义为潜在查询问题，通过一小组可学习的前瞻性标记将任务相关的未来浓缩为紧凑的潜在编码，在冻结的预训练视频生成模型的监督下进行，从而使策略继承世界模型的动态先验，而无需学习像素级生成。在推理时丢弃视频分支，保持实时控制。InternVLA-A1.5在120万机器人实验和300万多模态样本上进行预训练，在六个仿真基准上取得最佳整体结果。在实际应用中，保留的语义在保留的指令绑定上实现了最强的组合泛化，两个设计共同支持长时间执行。

🔬 方法详解

问题定义：本文旨在解决现有机器人操作模型在语义理解与动态预测方面的不足，尤其是如何有效利用预训练模型的动态先验而不损失语义信息。

核心思路：InternVLA-A1.5的核心思路是将未来预测重新定义为潜在查询问题，通过学习前瞻性标记来提取任务相关的未来信息，从而避免从零开始学习像素级生成。

技术框架：该模型基于原生视觉语言模型骨干，继续在视觉问答和子任务预测上进行训练，并附加一个轻量级的统一专家用于连续动作生成。推理时丢弃视频分支，确保实时控制。

关键创新：最重要的创新在于将未来预测转化为潜在查询问题，利用冻结的预训练视频生成模型的动态先验，而不是依赖于传统的像素级生成方法。

关键设计：模型设计中使用了可学习的前瞻性标记，损失函数通过监督学习来优化潜在编码的生成，确保模型在保持语义的同时有效提取动态信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

InternVLA-A1.5在六个仿真基准上取得了最佳整体结果，且在实际应用中展现出最强的组合泛化能力。模型在120万机器人实验和300万多模态样本的预训练下，显著提升了长时间执行的稳定性和准确性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造和人机交互等。通过实现更高效的操作和更强的泛化能力，InternVLA-A1.5有望在实际场景中提升机器人执行复杂任务的能力，推动智能机器人技术的发展。

📄 摘要（原文）

Unified models for robot manipulation aim to equip one policy with both the semantic priors of pretrained VLMs and the physical dynamics learned through future prediction. In practice, existing designs tend to erode the semantics of the pretrained backbone, suffer interference among heterogeneous objectives, and learn future prediction from scratch in pixel space, leaving the dynamics priors of pretrained video generators unexploited. We present InternVLA-A1.5, which builds the policy on a native VLM backbone that keeps training on VQA and subtask prediction, and attaches a lightweight unified expert for continuous action generation. Future prediction is recast as a latent-querying problem, where a small set of learnable foresight tokens condenses the task-relevant future into a compact latent code under the supervision of a frozen pretrained video generation model, so the policy inherits world-model dynamics priors without ever learning pixel-level generation. The video branch is discarded at inference, keeping real-time control. Pretrained on 1.2M robot episodes and 3M multimodal samples, InternVLA-A1.5 achieves the best overall results on all six simulation benchmarks. In the real world, the preserved semantics deliver the strongest compositional generalization on held-out instruction bindings, and the two designs together sustain long-horizon execution.