Human-to-Robot Transfer via Bridging Representation and Action Space in VLAs

📄 arXiv: 2611.04391v1 📥 PDF

作者: Junhyeong Park, Wook Jung, Taeyoung Kim, Huiwon Jang, Jinwoo Shin

分类: cs.AI

发布日期: 2026-11-03

备注: Accepted for Oral Presentation at the CoRL 2026 Workshop on Scaling H2R. Project page: https://junhyeong-park.me/h2rb/

💡 一句话要点

提出H2RB框架以解决人机示范适应问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机协作 视觉-语言-动作 预训练策略 技能转移 几何对齐 解耦解码器 行为监督 机器人学习

📋 核心要点

  1. 现有方法在将预训练的VLA策略适应于特定机器人时，依赖昂贵的目标机器人数据收集，限制了其应用。
  2. H2RB框架通过几何对齐和解耦解码器，解决了人机之间的体现差距，使人类示范能够有效指导机器人学习。
  3. 实验结果显示，H2RB在物体转移性能上从8.0提升至51.8，技能转移得分达到62.7，且在物体放置变化下依然有效。

📝 摘要（中文）

预训练的视觉-语言-动作（VLA）策略为部署提供了良好的起点，但将其适应于特定机器人和环境仍需昂贵的具体示范。人类示范更易收集，但由于人机之间的体现差距，直接利用这些示范面临挑战。本文提出H2RB（人机桥接），一种人机共同训练框架，旨在从未配对的人类和机器人示范中适应预训练的VLA策略。H2RB在几何锚定对齐的基础上，兼容地将人类和机器人观察映射到统一表示，同时通过解耦解码器共享动作潜变量，避免强制两个领域通过单一动作映射。实验结果表明，H2RB显著提高了物体转移性能，并在技能转移中表现出色，展示了人类示范作为可扩展监督源的潜力。

🔬 方法详解

问题定义：本文旨在解决将预训练的视觉-语言-动作（VLA）策略适应于特定机器人和环境时，所面临的人机体现差距问题。现有方法依赖于昂贵的目标机器人示范，限制了其灵活性和可扩展性。

核心思路：H2RB框架通过几何锚定对齐和解耦解码器的设计，旨在弥合人类和机器人之间的体现差距，使得人类示范能够有效地为机器人提供行为监督，同时保留预训练VLA的丰富视觉、语义和控制先验。

技术框架：H2RB框架包括两个主要模块：几何锚定对齐模块用于将人类和机器人观察映射到兼容的表示；解耦解码器模块则负责共享动作潜变量，避免强制两个领域通过单一动作映射。

关键创新：H2RB的主要创新在于其双重桥接机制，既解决了人机之间的体现差距，又允许人类示范在不牺牲预训练先验的情况下为机器人提供有效的监督。这一设计与现有方法相比，显著提高了适应性和灵活性。

关键设计：在H2RB中，几何对齐通过特定的损失函数实现，以确保人类和机器人观察的兼容性；解耦解码器则采用了特定的网络结构，以便在不强制映射的情况下共享动作潜变量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

H2RB框架在多个真实任务中表现出色，物体转移性能从8.0提升至51.8，技能转移得分达到62.7，且在物体放置变化的情况下，出分布转移性能也显著提高，从6.0提升至45.3，展示了其强大的适应能力。

🎯 应用场景

H2RB框架在机器人学习和人机协作领域具有广泛的应用潜力。通过有效利用人类示范，机器人能够更快速地适应新环境和任务，降低了对昂贵目标机器人数据的依赖。这一方法的成功应用可能会推动智能机器人在家庭、工业和服务领域的普及与发展。

📄 摘要（原文）

Pretrained Vision-Language-Action (VLA) policies provide a strong starting point for deployment, but adapting them to a target robot and environment still requires costly embodiment-specific demonstrations. Human demonstrations are far easier to collect, yet directly leveraging them is challenging due to the substantial human-robot embodiment gap, particularly when the underlying VLA has been pretrained primarily on robot data. We introduce H2RB (Human-To-Robot Bridge), a human-robot co-training framework for adapting pretrained VLA policies from unpaired human and robot demonstrations. H2RB bridges the embodiment gap at both interfaces: geometry-anchored alignment grounds human and robot observations in a compatible representation, while a decoupled-decoder tokenizer shares action latents without forcing both domains through a single action mapping. This design allows human demonstrations to provide useful behavioral supervision while retaining the rich visual, semantic, and control priors of the pretrained VLA. Across real-world tasks, H2RB substantially improves object transfer performance from 8.0 to 51.8 and enables skill transfer to score 62.7, in settings where co-train baselines totally fail to transfer human-demonstrated skills. The benefit also persists under object-placement shifts, improving out-of-distribution transfer from 6.0 to 45.3. H2RB suggests a way for human demonstrations to serve as a scalable supervision source for adapting pretrained robotic policies, reducing the dependence on costly target-robot data collection.