Nexus-VLA: Bridging Human and Robot Experiences via a Shared Hierarchical Semantic Latent Space

📄 arXiv: 2610.42021v1 📥 PDF

作者: Biaoliang Guan, Tingyu Yuan, Wen Ye, Ziming Ji, Xu Yang, Yan Huang, Jihua Zhu, Chaoyang Zhao

分类: cs.RO

发布日期: 2026-10-30

💡 一句话要点

提出Nexus-VLA以解决人类与机器人经验共享问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨体现知识转移 人机协作 策略学习 语义对齐 潜在表示 机器人学习 操作知识

📋 核心要点

  1. 现有方法在跨体现知识对齐与机器人策略学习之间存在解耦，导致人类操作知识无法有效转移。
  2. 提出Nexus-VLA框架，通过分层语义对齐和共享潜在表示，实现人类与机器人之间的知识直接转移。
  3. 在RoboCasa-GR1实验中，Nexus-VLA达到了80.5%的任务成功率，显著提升了学习效率和跨场景泛化能力。

📝 摘要（中文）

大规模的自我中心人类视频为机器人策略学习提供了丰富的操作经验，但在视觉外观、运动结构和动作空间方面存在显著的体现差距，阻碍了有效的知识转移。现有方法通常将跨体现知识对齐与机器人策略学习解耦，使得人类操作知识难以直接贡献于机器人动作学习。为了解决这一问题，本文提出了Nexus-VLA，一个混合策略学习框架，通过端到端的人机联合训练实现跨体现知识转移，使人类操作经验能够直接贡献于机器人策略学习。我们首先引入了一个分层的跨体现语义对齐范式，逐步建立从任务意图到细粒度交互的共享操作语义，从而更全面地利用人类视频中的操作知识。基于此层次结构，我们设计了一个共享操作潜在表示，将多层次共享知识共同编码为直接用于连续动作生成的内部表示，提高了策略学习效率，同时有效利用了人类知识。在RoboCasa-GR1、OOD设置和真实世界机器人实验中，Nexus-VLA在RoboCasa-GR1上达到了80.5%的任务成功率，并在利用人类数据、学习效率和跨场景泛化方面展现出强大的优势。

🔬 方法详解

问题定义：本文旨在解决人类与机器人之间的知识转移问题，现有方法在视觉和动作空间的差异使得人类的操作经验难以有效应用于机器人策略学习。

核心思路：Nexus-VLA框架通过分层的语义对齐和共享潜在表示，允许人类的操作经验直接参与到机器人策略学习中，从而缩小人机之间的体现差距。

技术框架：该方法包括两个主要模块：分层语义对齐模块和共享潜在表示模块。分层语义对齐模块负责从任务意图到细粒度交互的逐步对齐，而共享潜在表示模块则将多层次的知识编码为可用于连续动作生成的内部表示。

关键创新：最重要的创新在于引入了分层的跨体现语义对齐范式，使得人类操作知识能够更全面地被利用，并通过共享潜在表示提高了策略学习的效率。与现有方法相比，Nexus-VLA实现了更紧密的人机知识整合。

关键设计：在设计中，采用了特定的损失函数来优化语义对齐效果，并通过多层次的网络结构来实现知识的有效编码，确保了在不同场景下的泛化能力。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RoboCasa-GR1实验中，Nexus-VLA达到了80.5%的任务成功率，相较于基线方法，展示了在学习效率和人类数据利用方面的显著优势，尤其是在OOD设置和真实场景中的表现更为突出。

🎯 应用场景

该研究的潜在应用领域包括人机协作、智能家居和服务机器人等场景。通过有效的知识转移，机器人能够更好地理解和执行人类的操作指令，从而提升其在复杂环境中的适应能力和工作效率。未来，该方法可能在机器人自主学习和人机交互方面产生深远影响。

📄 摘要（原文）

Large-scale egocentric human videos provide rich and scalable manipulation experience for robot policy learning, yet substantial embodiment gaps in visual appearance, kinematic structure, and action spaces hinder effective knowledge transfer. Existing methods often decouple cross-embodiment knowledge alignment from robot policy learning, making it difficult for human manipulation knowledge to directly and fully contribute to robot action learning. To address this issue, we propose Nexus-VLA, a hybrid policy learning framework that enables cross-embodiment knowledge transfer through end-to-end human-robot joint training, allowing human manipulation experience to directly contribute to robot policy learning. We first introduce a hierarchical cross-embodiment semantic alignment paradigm that progressively establishes shared manipulation semantics from task intent to fine-grained interactions, enabling more complete use of the manipulation knowledge contained in human videos. Building on this hierarchy, we design a shared manipulation latent representation that jointly encodes multi-level shared knowledge into an internal representation directly used for continuous action generation, improving policy learning efficiency while effectively leveraging human knowledge. Across RoboCasa-GR1, OOD settings, and real-world robot experiments, Nexus-VLA achieves an 80.5% task success rate on RoboCasa-GR1 and demonstrates strong advantages in human-data utilization, learning efficiency, and cross-scenario generalization.