Contact Imitation Interface: Transferring Dexterous Skills by Showing How Contact Unfolds
作者: Zhixuan Xu, Yichen Li, Bingchen Wu, Rui Wang, Yiwen Hou, Zixuan Liu, Tianyu Qiu, Lin Shao
分类: cs.RO
发布日期: 2026-10-29
备注: 15 pages (8-page main paper and 7-page supplementary material). Project website with code and hardware designs: https://nus-lins-lab.github.io/CIMIWeb/
💡 一句话要点
提出接触模仿接口以解决灵巧操作技能转移问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 灵巧操作 接触模仿 机器人学习 人机协作 动作重定向
📋 核心要点
- 现有方法在灵巧操作技能转移中难以保持演示者的自然灵巧性，导致接触基础观察和动作的生成不够有效。
- 本文提出的接触模仿接口（CIMI）通过结合接触几何和RGB视图，实现了接触对齐优先的重定向和学习策略。
- 实验结果表明，CIMI在六对手任务上比基线策略的最终成功率提高了至少50个百分点，显示出显著的性能提升。
📝 摘要（中文）
无机器人的人类演示为扩展灵巧操作数据提供了有前景的途径。关键挑战在于如何保留演示者的自然灵巧性，同时生成可转移到机器人手的接触基础观察和动作。本文提出了接触模仿接口（CIMI），该框架结合了接触基础的演示和学习接口。演示接口结合了共享接触几何和指尖RGB视图，采用接触对齐优先的重定向和更广场景视图的重投影。学习接口引入了分层策略，其中接触表面规划器预测相对接触表面轨迹，控制器协调手腕和手指命令以改善接触对齐。CIMI结合了接触基础观察、重定向和动作表示，在LEAP和Wuji的六对手任务中，最终阶段成功率比基线策略提高了至少50个百分点。硬件设计和软件均已公开。
🔬 方法详解
问题定义：本文旨在解决灵巧操作技能转移中的接触基础观察和动作生成问题。现有方法往往无法有效保留演示者的自然灵巧性，导致机器人在执行任务时表现不佳。
核心思路：CIMI框架通过接触基础的演示和学习接口，结合接触几何和RGB视图，采用接触对齐优先的重定向策略，旨在提高机器人对人类演示的理解和执行能力。
技术框架：CIMI框架主要分为两个模块：演示接口和学习接口。演示接口负责生成接触基础的观察数据，而学习接口则通过分层策略进行动作生成和控制。
关键创新：CIMI的创新点在于引入了接触对齐优先的重定向机制和分层策略，使得机器人能够更好地理解和执行复杂的灵巧操作任务。这一设计与现有方法相比，显著提升了任务成功率。
关键设计：在学习接口中，接触表面规划器负责预测相对接触表面轨迹，控制器则协调手腕和手指的动作命令。具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文获取更多技术细节。
🖼️ 关键图片
📊 实验亮点
在六对手任务的实验中，CIMI框架的最终阶段成功率比基线策略提高了至少50个百分点，显示出其在灵巧操作技能转移中的显著优势。这一结果验证了接触基础观察和重定向策略的有效性。
🎯 应用场景
该研究的潜在应用领域包括人机协作、机器人辅助操作以及自动化生产线等。通过有效转移灵巧操作技能，CIMI能够提升机器人在复杂环境中的操作能力，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Robot-free human demonstrations offer a promising route to scaling dexterous manipulation data. The key challenge is to preserve the demonstrator's natural dexterity while producing contact-grounded observations and actions that transfer to robot hands. We present Contact Imitation Interface (CIMI), a framework with contact-grounded demonstration and learning interfaces. The demonstration interface combines shared contact geometry and fingertip RGB views with contact-alignment-first retargeting and reprojection of wider scene views. The learning interface introduces a hierarchical policy in which a contact-surface planner predicts relative contact-surface trajectories and a controller coordinates wrist and finger commands to improve contact alignment. CIMI combines contact-grounded observations, retargeting, and action representations, improving mean final-stage success by at least 50 percentage points over baseline policies across six hand-task pairs on LEAP and Wuji. Hardware designs and software are publicly available.