CARD: Contact-Anchored Retargeting for Dexterous Manipulation

📄 arXiv: 2610.36539v1 📥 PDF

作者: Cunxi Dai, Botao He, Francois R Hogan, Wei Pan, Rao Fu, Wen-Han Hsieh, Ruoshi Liu, Jitendra Malik, Guanya Shi, Akash Sharma

分类: cs.RO

发布日期: 2026-10-27

备注: Project webpage: https://card-retargeting.github.io/

💡 一句话要点

提出CARD框架以解决机器人灵巧操作中的接触力保持问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 接触力保持 灵巧操作 机器人重定向 多模态数据融合 触觉跟踪

📋 核心要点

  1. 现有方法在重定向人类示范时忽视了接触动态，导致机器人在执行任务时的灵巧性不足。
  2. CARD框架通过显式保留接触力目标，将人类的多种数据源整合，提升了机器人操作的灵巧性。
  3. 实验结果显示，CARD在接触帧保持率上达到了43%-78%，显著优于传统方法，任务成功率也有明显提升。

📝 摘要（中文）

人类的灵巧性在传统的数据收集方法中受到限制，如遥控操作、动觉教学和可穿戴外骨骼，这些方法迫使人类通过机器人体现来行动，从而限制了其灵巧性。为了解决这一问题，本文提出了CARD：接触锚定重定向框架，通过显式保留接触力目标，将人类示范转化为机器人动作。CARD统一了视频、运动捕捉和触觉手套等人类数据源，并生成了显式的接触力目标。通过引入触觉跟踪控制器，CARD在硬件重放过程中保持这些接触目标。实验结果表明，CARD在多个数据集上显著提高了接触保持率和任务成功率，展示了其在将人类灵巧性转移到机器人方面的可扩展性。

🔬 方法详解

问题定义：本文旨在解决传统重定向方法在机器人灵巧操作中对接触动态的忽视，导致机器人在执行任务时无法有效保持接触力。现有方法在接触保持率上表现不佳，限制了机器人的灵巧性和任务成功率。

核心思路：CARD框架通过引入接触力目标，将人类的示范数据（如视频、运动捕捉和触觉手套数据）进行统一处理，确保机器人在执行任务时能够保持必要的接触力，从而更好地模拟人类的灵巧操作。

技术框架：CARD的整体架构包括数据整合模块、接触力目标生成模块和触觉跟踪控制器。数据整合模块负责将不同来源的人类示范数据转化为统一的接触表示，接触力目标生成模块则根据这些数据生成明确的接触力目标，触觉跟踪控制器用于在硬件重放过程中保持这些接触目标。

关键创新：CARD的主要创新在于其接触锚定的重定向方法，通过显式保留接触力目标，解决了传统方法在接触动态处理上的不足。这一设计使得机器人能够更真实地再现人类的灵巧操作。

关键设计：在技术细节上，CARD采用了多模态数据融合技术，设计了特定的损失函数以优化接触力保持，并使用了先进的网络结构来处理视频到接触力的转换，确保了在不同数据源间的有效映射。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CARD在多个数据集上实现了43%-78%的接触帧保持率，而传统的运动学和物体感知重定向方法的接触保持率分别低于10%和22.5%。此外，将CARD集成到基于物理的重定向中，任务成功率从12%提升至32%，显示出显著的性能提升。

🎯 应用场景

CARD框架在机器人操作、自动化制造和人机协作等领域具有广泛的应用潜力。通过有效地转移人类的灵巧性，CARD可以提升机器人在复杂任务中的表现，推动智能机器人技术的发展，未来可能在服务机器人、医疗机器人等领域发挥重要作用。

📄 摘要（原文）

Humans are dexterous, but traditional data collection paradigms such as teleoperation, kinesthetic teaching, and wearable exoskeletons force humans to act through the robot embodiment, bottlenecking their dexterity. Retargeting can avoid this. However, existing methods purely translate kinematics and ignore the real-world contact dynamics essential for task success. We present CARD: Contact-Anchored Retargeting for Dexterous Manipulation, a simulator and object-free framework that retargets human demonstrations to robot actions by explicitly preserving contact force targets. CARD unifies human data sources including video, motion capture, and tactile gloves via a shared hand--contact representation and generates explicit contact force targets in addition to kinematics. To maintain these contact targets during hardware open-loop replay, CARD also introduces a tactile tracking controller. For video which does not contain an explicit tactile source, we present Vid-HACO, our video-to-contact model that sets a new state of the art. Across our video, glove, motion-capture data and the GRAB dataset, CARD maintains contact on $43$--$78\%$ of contact frames, while kinematic and object-aware retargeting methods maintain contact on $<10\%$ and $22.5\%$ of the frames respectively. Further, integrating our formulation into physics-based retargeting improves strict task success from 12\% to 32\% on GRAB dataset. Finally, we show that our tactile tracker is critical to reproduce demonstrated forces during hardware replay. These results establish that contact preservation via CARD is a scalable interface for transferring human dexterity to robots.