DexHOT: Learning Hand-Object Configuration Transfer for Dexterous Manipulation

📄 arXiv: 2611.05119v1 📥 PDF

作者: Zhewei Gui, Anthony Bolton, Jiyao Zhang, Zeyuan Chen, Qiyang Yan, Tianyu Wang, Hao Dong

分类: cs.RO

发布日期: 2026-11-03

备注: 9 pages, 4 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DexHOT以解决灵巧操作中的手-物体配置转移问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 灵巧操作 手-物体配置 机器人学习 闭环跟踪 关系条件转移 合成数据 任务成功率

📋 核心要点

  1. 现有的学习方法在灵巧操作中主要关注物体的姿态或轨迹，忽视了手-物体配置的显式建模，导致操作效率低下。
  2. DexHOT通过将灵巧操作视为手-物体配置转移，提出了一种新的方法，能够显式地定义手部和物体的相对姿态。
  3. 在DexHOTBench上，DexHOT在已见和未见物体上的转移成功率显著提高，展示了其在真实机器人操作中的有效性。

📝 摘要（中文）

灵巧操作不仅涉及物体的移动，还需要手部围绕物体进行排列，以保持有效接触并支持后续动作。然而，许多基于学习的系统主要通过物体姿态或轨迹来指定目标，手-物体配置往往是隐式生成的。本文提出DexHOT，将灵巧操作形式化为手-物体配置转移：在可行配置之间移动，这些配置共同指定手部的关节动作和物体相对于手腕的姿态。DexHOT从合成的可行配置对中学习可重用的关系条件转移原语，无需人类参考动作，并通过闭环跟踪配置子目标来组合长时间行为。在DexHOTBench上，单一策略在已见物体上实现了80.5%的转移成功率，在未见物体上为69.4%；在真实灵巧手上，200次真实机器人转移中成功率为61.5%，在六个示范引导任务中任务成功率达到90%。这些结果表明，明确的手-物体目标为灵巧操作提供了一个表达性和可组合的接口。

🔬 方法详解

问题定义：本文旨在解决灵巧操作中手-物体配置的转移问题。现有方法往往忽视手部与物体的相对配置，导致操作的灵活性和效率不足。

核心思路：DexHOT通过手-物体配置转移的形式化，明确手部的关节动作与物体姿态之间的关系，从而实现更高效的灵巧操作。该方法不依赖于人类示范，利用合成数据进行学习。

技术框架：DexHOT的整体架构包括配置对的生成、关系条件转移原语的学习以及闭环跟踪机制。首先生成可行的手-物体配置对，然后通过学习关系条件转移原语来实现配置的转移，最后通过闭环跟踪来确保长时间行为的稳定性。

关键创新：DexHOT的主要创新在于显式建模手-物体配置，使得手部与物体的相对姿态能够被明确指定。这与传统方法的隐式生成方式形成了鲜明对比，提升了操作的灵活性和成功率。

关键设计：在技术细节方面，DexHOT采用了特定的损失函数来优化配置转移的准确性，并设计了适合于手部运动的网络结构，以便更好地捕捉手-物体交互的动态特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DexHOT在DexHOTBench上实现了80.5%的已见物体转移成功率和69.4%的未见物体转移成功率，显示出其在处理复杂手-物体配置方面的优势。此外，在真实灵巧手的实验中，200次转移的成功率达到61.5%，在六个任务中实现90%的任务成功率，显著优于传统方法。

🎯 应用场景

DexHOT的研究成果在多个领域具有广泛的应用潜力，包括服务机器人、工业自动化和人机交互等。通过提高灵巧操作的效率和成功率，该方法能够推动智能机器人在复杂环境中的应用，提升其在实际任务中的表现和适应能力。

📄 摘要（原文）

Dexterous manipulation involves not only moving objects, but also arranging the hand around them to maintain useful contacts and enable subsequent actions. Yet many learning-based systems specify goals primarily through object poses or trajectories, leaving hand-object configurations to emerge implicitly. We introduce DexHOT, which formulates dexterous manipulation as hand-object configuration transfer: moving between feasible configurations that jointly specify hand articulation and object pose relative to the wrist. DexHOT learns a reusable relation-conditioned transfer primitive from synthetic feasible configuration pairs, without human reference motions, and composes long-horizon behaviors through closed-loop tracking of configuration subgoals. On DexHOTBench with 120 objects, a single policy achieves 80.5% transfer success on seen objects and 69.4% on unseen objects; on a real dexterous hand, it achieves 61.5% success over 200 real-robot transfers and 90% task success across six demonstration-guided tasks. These results show that explicit hand-object goals provide an expressive and composable interface for dexterous manipulation. More details and videos are available at https://dex-hot.github.io/.