TopoRetarget: Interaction-Preserving Retargeting for Dexterous Manipulation

📄 arXiv: 2606.16272v1 📥 PDF

作者: Jielin Wu, Shenzhe Yao, Guanqi He, Xiaohan Liu, Zhaoqing Zeng, Xiangrui Jiang, Han Yang, Wentao Zhang, Hang Zhao

分类: cs.RO

发布日期: 2026-06-15

备注: Project page: https://toporetarget2026.github.io/TopoRetarget/

💡 一句话要点

提出TopoRetarget以解决手部交互保留的重定向问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 灵巧操作 强化学习 人机交互 机器人技术 重定向算法 接触处理 稀疏交互图

📋 核心要点

  1. 现有方法在使用人手演示进行强化学习策略学习时，难以保留手部姿态和手物接触结构，导致性能下降。
  2. 本文提出的TopoRetarget框架通过构建稀疏交互图，优化手物交互的重定向过程，确保任务相关性。
  3. 实验结果显示，TopoRetarget在接触精度和策略学习上优于所有基线方法，显著提高了训练成功率。

📝 摘要（中文）

人手与物体的演示为训练灵巧操作的强化学习（RL）策略提供了密集的参考动作。然而，若不保留手部姿态和任务相关的手物接触结构，可能导致接触和可行性伪影，从而降低下游RL策略的性能。本文提出TopoRetarget，一个交互保留的重定向框架，使用单一参数集在多样的重定向条件下保持任务相关的手物交互，并将人类演示适配到灵巧机器人手。该方法构建了一个稀疏的交互图，并优化了带方向一致性、运动学约束和穿透处理的距离加权拉普拉斯变形。评估结果表明，生成的参考提高了交互保真度和策略学习：TopoRetarget在ContactPose数据集上实现了最佳接触精度和对齐，相较于现有基线方法，Pen-Spin训练成功率提高了40.6个百分点，并在立方体重新定向和笔旋转任务上实现了对Wuji手硬件的零样本迁移。

🔬 方法详解

问题定义：本文旨在解决在灵巧操作中，如何有效重定向人手与物体的交互演示，以保留手部姿态和接触结构的问题。现有方法在这方面存在不足，容易导致接触伪影和可行性问题，影响强化学习策略的性能。

核心思路：TopoRetarget框架的核心思路是通过构建稀疏的交互图，优化手与物体关键点之间的距离加权拉普拉斯变形，确保在不同重定向条件下仍能保持任务相关的手物交互。这样的设计使得重定向过程更加灵活且高效。

技术框架：TopoRetarget的整体架构包括三个主要模块：交互图构建、距离加权拉普拉斯变形优化和接触处理。首先，构建手与物体的稀疏交互图；然后，通过优化算法处理关键点之间的关系；最后，确保在重定向过程中处理穿透和运动学约束。

关键创新：该研究的关键创新在于提出了一种统一的参数设置，能够在多样的重定向条件下保持手物交互的完整性。这与现有方法的局限性形成鲜明对比，后者通常需要针对不同条件进行复杂的参数调整。

关键设计：在技术细节上，TopoRetarget采用了距离加权拉普拉斯变形算法，并引入了方向一致性和运动学约束，确保在优化过程中能够有效处理手物接触的穿透问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TopoRetarget在ContactPose数据集上实现了最佳接触精度和对齐，相较于现有基线方法，Pen-Spin训练成功率提高了40.6个百分点。此外，该方法还成功实现了对Wuji手硬件的零样本迁移，展现了其广泛的适用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、机器人操作和虚拟现实等。通过提高灵巧机器人在复杂任务中的操作能力，TopoRetarget能够为未来的智能机器人系统提供更为自然和高效的操作方式，推动相关技术的发展与应用。

📄 摘要（原文）

Human hand-object demonstrations provide dense reference motions for training dexterous manipulation reinforcement learning (RL) policies through reference tracking. However, to use such demonstrations for RL policy learning, retargeting must preserve hand pose and task-relevant hand-object contact structure. Otherwise, contact and feasibility artifacts can degrade downstream RL policy performance. We introduce TopoRetarget, an interaction-preserving retargeting framework that uses a single set of parameters across diverse retargeting conditions while maintaining task-relevant hand-object interaction and adapting human demonstrations to dexterous robot hands. The method constructs a sparse interaction graph over hand and object keypoints and optimizes distance-weighted Laplacian deformation with directional consistency, kinematic constraints, and penetration handling. Evaluations show that the generated references improve both interaction fidelity and policy learning: TopoRetarget achieves the best contact precision and alignment over all baselines on the ContactPose Dataset, improves Pen-Spin training success by 40.6 percentage points over the existing baseline methods, and enables zero-shot transfer to Wuji Hand hardware on cube reorientation and pen spinning.