TouchBridge: Tactile-Conditioned Human-to-Robot Transfer for Dexterous Manipulation
作者: Haozhe Zhang, Gu Zhang, Zirui Zou, Yuzheng Chen, Jinlong Wu, Zixuan Hu, Jianke Zhang, Yucheng Hu, Zhecheng Yuan, Huazhe Xu
分类: cs.RO
发布日期: 2026-10-29
💡 一句话要点
提出TouchBridge框架以解决人机触觉交互转移问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机交互 触觉感知 机器人操作 数据转换 深度学习
📋 核心要点
- 现有方法在将人类的触觉交互转移到机器人时面临传感器和手部形态差异带来的挑战。
- TouchBridge框架通过可穿戴接口和机器人接口建立跨体现对应关系，提出Tac-Retarget方法实现触觉条件的重定向。
- 实验结果显示，基于TouchBridge转换的人类示范微调策略的成功率为72.5%，收集速度快7.0倍，且优于现有方法。
📝 摘要（中文）
人类示范为灵巧机器人操作提供了高效且可扩展的数据来源，但由于传感器和手部形态的差异，接触丰富的交互转移变得复杂。本文提出了TouchBridge，一个硬件-软件协同设计的框架，用于人机数据转换。通过可穿戴的人类示范接口和相应的机器人接口，建立了视觉和指尖触觉感知的跨体现对应关系。我们引入了Tac-Retarget，一种触觉条件的重定向方法，利用测量的接触来对齐指尖接触区域，并保持其空间关系。与基于物体的或仿真转移管道不同，Tac-Retarget无需物体网格、物体姿态估计或物理仿真，从而实现了人类示范到机器人领域训练数据的直接和可扩展转换。结合视觉合成和相机锚定的动作转换，TouchBridge为微调预训练的视觉-语言-动作模型生成了机器人领域的示范。在四个真实世界的接触丰富任务中，仅基于TouchBridge转换的人类示范微调的策略平均成功率达到72.5%，而使用相同数量的遥控机器人示范成功率为77.5%，同时人类示范收集速度快7.0倍。在相同的策略和训练设置下，Tac-Retarget的表现优于DexPilot和UniDex，分别提升了25.0和42.5个百分点。
🔬 方法详解
问题定义：本论文旨在解决人类与机器人之间在触觉交互转移中的困难，尤其是由于传感器差异和手部形态不同导致的接触信息丢失问题。现有方法往往依赖于物体模型和物理仿真，限制了其应用的灵活性和效率。
核心思路：TouchBridge框架通过设计可穿戴的人类示范接口和机器人接口，建立了视觉和触觉感知的跨体现对应关系。Tac-Retarget方法利用实时测量的接触信息来对齐指尖接触区域，保持空间关系，从而实现高效的数据转换。
技术框架：TouchBridge的整体架构包括人类示范接口、机器人接口、Tac-Retarget模块和视觉合成模块。人类通过可穿戴设备进行示范，机器人通过接口接收并转换这些示范数据，Tac-Retarget模块负责触觉信息的重定向，视觉合成模块则用于生成机器人领域的示范。
关键创新：Tac-Retarget方法是本研究的核心创新，它无需依赖物体网格或物理仿真，直接利用触觉信息进行重定向，显著提高了人机交互的灵活性和效率。
关键设计：在设计中，TouchBridge采用了特定的触觉传感器和视觉传感器，确保数据的准确性和实时性。此外，Tac-Retarget方法中使用的损失函数和网络结构经过精心设计，以优化接触区域的对齐和空间关系的保持。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于TouchBridge转换的人类示范微调的策略在四个接触丰富的任务中平均成功率达到72.5%，与77.5%的遥控机器人示范相近。同时，人类示范的收集速度快7.0倍。此外，Tac-Retarget方法在相同设置下优于DexPilot和UniDex，分别提升了25.0和42.5个百分点，显示出其显著的性能优势。
🎯 应用场景
TouchBridge框架在机器人操作、虚拟现实和人机协作等领域具有广泛的应用潜力。通过高效地将人类的触觉示范转化为机器人可用的数据，能够加速机器人学习和适应复杂环境的能力，提升人机协作的效率和灵活性。未来，该技术可能在服务机器人、医疗机器人等领域发挥重要作用。
📄 摘要（原文）
Human demonstrations offer an efficient and scalable source of data for dexterous robot manipulation, but differences in sensing and hand morphology complicate the transfer of contact-rich interactions. We present TouchBridge, a hardware--software co-designed framework for human-to-robot data transformation. A wearable human demonstration interface and a corresponding robot interface establish cross-embodiment correspondence in visual and fingertip tactile sensing. We introduce Tac-Retarget, a tactile-conditioned retargeting method that uses measured contact to align fingertip contact patches and preserve their spatial relations within and across hands. Unlike object-aware or simulation-based transfer pipelines, Tac-Retarget requires no object mesh, object-pose estimate, or physics simulation for retargeting, enabling direct and scalable conversion of human demonstrations into robot-domain training data. Combined with visual synthesis and camera-anchored action conversion, TouchBridge produces robot-domain demonstrations for fine-tuning a pretrained vision-language-action (VLA) model. Across four real-world contact-rich tasks, policies fine-tuned solely on TouchBridge-converted human demonstrations achieve a 72.5% average success rate, compared with 77.5% using an equal number of teleoperated robot demonstrations, while human demonstration collection is 7.0x faster. Under the same policy and training setup, Tac-Retarget outperforms DexPilot and UniDex by 25.0 and 42.5 percentage points, respectively.