C2Dex: Contact-Consistent Reconstruction and Retargeting for Dexterous Manipulation from Monocular Video
作者: Jie Ren, Zhehao Jiang, Yinhong Yang, Haorui Jia, Han Jiang, Ben Li, Yao Yao, Cheng Lin, Qiu Shen, Zhenshan Bing, Xiao-Xiao Long, Xun Cao
分类: cs.RO, cs.CV
发布日期: 2026-08-07
备注: 9 pages, 5 figures. Submitted to IEEE Robotics and Automation Letters (RA-L). Project page: https://k-jie.github.io/C2Dex/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出C2Dex框架以解决单目视频到灵巧操作的重建与重定向问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting)
关键词: 灵巧操作 单目视频 手-物体交互 重建与重定向 机器人学习 强化学习 物理合理性
📋 核心要点
- 现有方法在将单目视频中的手-物体交互转移到灵巧机器人时，常常面临接触不稳定和物理不合理的问题。
- C2Dex框架通过聚合噪声帧观察，恢复稳定的物体侧接触，并利用这些接触作为轨迹约束和转移目标。
- 实验结果显示，C2Dex在DexYCB和TACO数据集上分别实现了57.78%和26.67%的成功率，显著超越了现有基线。
📝 摘要（中文）
高质量的灵巧机器人操作演示难以收集，而单目人类视频提供了多样化的操作行为来源。然而，将这些演示转移到灵巧机器人上仍然面临挑战：单目手-物体交互重建常常产生时间不稳定的接触和物理上不合理的交互，而传统的重定向方法难以保持任务相关的接触和局部交互几何。本文提出C2Dex，一个基于共享交互表示的视频到灵巧操作框架，通过在规范物体空间中聚合噪声帧观察来恢复稳定的物体侧接触。这些稳定接触作为轨迹级约束，引导重建朝向时间一致和物理合理的人类HOI轨迹，并作为灵巧手的显式转移目标。实验结果表明，C2Dex在DexYCB和TACO上的端到端轨迹成功率分别为57.78%和26.67%，显著优于最强基线。
🔬 方法详解
问题定义：本文旨在解决从单目视频中重建和重定向灵巧机器人操作的挑战。现有方法在处理手-物体交互时，常常导致接触不稳定和物理不合理的交互，影响了重建的可靠性和有效性。
核心思路：C2Dex框架的核心思想是通过在规范物体空间中聚合噪声帧观察，恢复稳定的物体侧接触。这些稳定接触不仅作为轨迹级约束，确保重建的时间一致性和物理合理性，还作为灵巧手的转移目标，优化局部手-物体几何。
技术框架：C2Dex的整体架构包括两个主要模块：首先是接触恢复模块，通过聚合帧观察生成稳定的物体接触；其次是重定向模块，利用拉普拉斯交互优化和强化学习来精细调整轨迹。
关键创新：C2Dex的创新之处在于引入了稳定的物体侧接触作为重建和重定向的双重目标，这一设计显著提升了手-物体交互的物理合理性和时间一致性，区别于传统方法的单一目标优化。
关键设计：在技术细节上，C2Dex采用了特定的损失函数来平衡轨迹约束和几何保持，同时在强化学习中引入了残差学习策略，以进一步优化轨迹的质量和稳定性。具体的网络结构和参数设置在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
C2Dex在DexYCB和TACO数据集上的实验结果显示，端到端轨迹成功率分别达到了57.78%和26.67%，显著高于最强基线的17.78%和10.00%。这一成果证明了C2Dex在处理复杂手-物体交互任务中的有效性和优越性。
🎯 应用场景
C2Dex框架在灵巧机器人操作领域具有广泛的应用潜力，特别是在需要高精度和复杂交互的任务中，如人机协作、自动化装配和服务机器人等。其方法的有效性和稳定性为未来的机器人操作系统提供了新的思路，可能推动智能机器人在实际环境中的应用。
📄 摘要（原文）
High-quality demonstrations for dexterous robot manipulation are costly and difficult to collect, whereas monocular human videos provide a scalable source of diverse manipulation behaviors. However, transferring such demonstrations to dexterous robots remains challenging: monocular hand-object interaction (HOI) reconstruction often produces temporally unstable contacts and physically implausible interactions, while conventional retargeting methods struggle to preserve task-relevant contacts and local interaction geometry across different hand embodiments. We present C2Dex, a video-to-dexterous-manipulation framework built around a shared interaction representation: stable object-side contacts recovered by aggregating noisy frame-wise observations in the canonical object space. These stable contacts serve a dual role: as trajectory-level constraints that guide reconstruction toward temporally coherent and physically plausible human HOI trajectories, and as explicit transfer targets for the dexterous hand, where Laplacian interaction optimization preserves the local hand-object geometry across embodiments and residual reinforcement learning refines the trajectory in simulation. Experiments on DexYCB and TACO show that C2Dex achieves end-to-end trajectory success rates of 57.78% and 26.67%, respectively, substantially outperforming the strongest baselines (17.78% and 10.00%) under identical evaluation criteria. Real-robot replay experiments further demonstrate physical feasibility across diverse contact-rich manipulation tasks. Project page: https://k-jie.github.io/C2Dex/