Translation as a Bridging Action: Transferring Manipulation Skills from Humans to Robots
作者: Sijin Chen, Kaixuan Jiang, Haixin Shi, Yanhui Wang, Weiheng Zhong, Haosheng Li, Bo Jiang, Yuxiao Liu, Xihui Liu
分类: cs.RO, cs.CV
发布日期: 2026-06-26
备注: Project Page: https://translation-as-a-bridging-action.github.io/
💡 一句话要点
提出桥接动作表示以有效转移人类操作技能至机器人
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人技能转移 人类动作学习 双手操作 视觉-语言-动作模型 桥接动作表示
📋 核心要点
- 现有方法将人类视为6自由度实体，导致手部姿态估计噪声大，难以有效转移操作技能。
- 论文提出了桥接动作表示，通过相对腕部平移来共享人类与机器人之间的动作空间。
- 在新设计的双手操作任务中，该方法显著提高了人类操作知识的转移效率，且可扩展性强。
📝 摘要（中文）
本研究探讨了如何将人类的操作技能转移到具有平行夹爪的双手机器人上。人类动作数据丰富且多样，是机器人学习的重要资源。然而，现有方法将人类视为一种6自由度的实体，导致手部姿态估计噪声大，且人类手指的接触模式与平行夹爪有根本差异。我们提出了一种桥接动作表示：在初始头部摄像机框架内的相对腕部平移，这一动作空间是人类与机器人共享的。为处理不同实体中某些动作组件的缺失，我们构建了一个类似$π_0$的视觉-语言-动作模型，采用交错的动作标记和注意力掩蔽。在一系列新的双手操作任务中，我们的方法比噪声较大的6自由度人类动作更有效地转移了人类的操作知识，并且随着人类数据量的增加而扩展。
🔬 方法详解
问题定义：本论文旨在解决如何有效地将人类的操作技能转移到机器人上，现有方法由于噪声和接触模式差异，导致转移效果不佳。
核心思路：我们提出通过相对腕部平移的桥接动作表示，来克服人类与机器人在动作空间上的差异，从而实现更有效的技能转移。
技术框架：整体架构包括数据采集、动作表示学习和技能转移三个主要模块。首先，从人类动作中提取相对腕部平移信息，然后通过视觉-语言-动作模型进行训练，最后将学习到的技能应用于机器人。
关键创新：最重要的创新在于提出了桥接动作表示，利用相对腕部平移作为共享动作空间，显著提高了技能转移的有效性，与传统的6自由度方法相比，具有本质上的区别。
关键设计：模型采用了交错的动作标记和注意力掩蔽机制，以处理不同实体间动作组件的缺失，确保模型在多样化人类数据上进行有效训练。具体的损失函数和网络结构设计也经过优化，以提升学习效果。
🖼️ 关键图片
📊 实验亮点
在一系列新的双手操作任务中，我们的方法在技能转移效率上显著优于传统的6自由度人类动作，具体表现为在多个任务中提升了技能转移的成功率，且随着人类数据量的增加，性能持续改善。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过有效转移人类操作技能，机器人能够更灵活地完成复杂任务，提升工作效率和安全性，未来可能在智能制造和家庭服务中发挥重要作用。
📄 摘要（原文）
We study whether we can learn novel manipulation skills from human actions to a bi-manual robot with parallel grippers. Human action data is cheap, abundant, and diverse, making it one of the most promising resources for scaling up robot learning. Yet transferring skills from humans to robots remains hard: most prior work treats humans as just another bi-manual 6DoF embodiment, where hand-pose estimates are noisy and the contact patterns of human fingers differ fundamentally from those of a parallel gripper. We argue that learning rotation-inclusive action signals from human data is therefore sub-optimal, and instead propose a bridging action representation: the relative wrist translation within the initial head-camera frame, an action space shared by humans and robots. To handle the potential absence of certain action components in different embodiments, we build a $π_0$-like vision-language-action model with interleaved action tokens and attention masking. On a suite of novel bi-manual manipulation tasks, our bridging action transfers human manipulation knowledge to robots far more effectively than noisy 6DoF human actions and scales with the amount of human data.