UniDexTok: A Unified Dexterous Hand Tokenizer from Real Data

📄 arXiv: 2606.10683 📥 PDF

作者: Dong Fang, Youjun Wu, Yuanxin Zhong, Rui Zhang, Yunlong Wang, Xiaosong Jia, Yu-Gang Jiang

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出UniDexTok以解决灵巧手状态表示碎片化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting)

关键词: 灵巧手 状态标记 深度学习 机器人技术 跨体现重建

📋 核心要点

  1. 灵巧手的硬件设计差异使得状态表示难以统一，现有方法在联合训练时面临数据碎片化问题。
  2. 本文提出的UniDexTok通过无重定向的方式，从标准化的真实关节状态中学习离散标记，实现了灵巧手的统一表示。
  3. 实验结果显示，UniDexTok在MPJAE和MPJPE上分别减少了98.98%和99.03%的误差，显著提升了重建精度。

📝 摘要（中文）

灵巧手在精细操作中至关重要，但其硬件设计差异显著，导致状态表示难以统一。本文提出统一灵巧手模型（UDHM），将人类和机器人手的状态映射到共享的22自由度语义接口。基于UDHM，提出了UniDexTok，这是一种无重定向的状态标记器，能够从标准化的真实关节状态中学习条件化的离散标记。与现有基线UniHM相比，UniDexTok在MPJAE和MPJPE上分别减少了98.98%和99.03%的误差，显著提升了重建精度。实验表明，跨体现的标记化有助于提高目标体现的重建准确性，且在引入新灵巧手时表现出强大的零-shot和少-shot重建能力。

🔬 方法详解

问题定义：本文旨在解决灵巧手状态表示的碎片化问题，现有方法在不同硬件设计下难以实现有效的联合训练，导致数据利用效率低下。

核心思路：提出统一灵巧手模型（UDHM），将不同灵巧手的状态映射到一个共享的22自由度语义接口，从而实现无重定向的状态标记。

技术框架：整体架构包括UDHM的构建和UniDexTok的实现，主要模块包括状态映射、离散标记学习和跨体现重建。

关键创新：UniDexTok的最大创新在于其无重定向的特性，能够直接从真实数据中学习标记，避免了依赖模拟数据的局限性。

关键设计：在设计中，UniDexTok采用了特定的损失函数以优化标记的学习过程，并通过标准化的关节状态进行训练，确保了模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UniDexTok在MPJAE上从15.63度降至0.16度，MPJPE从18.51毫米降至0.18毫米，分别实现了98.98%和99.03%的误差减少。这些结果表明该方法在重建精度上有显著提升。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在机器人操作、虚拟现实和人机交互等领域。通过提供统一的灵巧手状态表示，能够提升机器人在复杂环境中的操作能力，促进智能设备的普及与发展。

📄 摘要（原文）

Dexterous hands are essential for fine-grained manipulation, but their hardware designs vary substantially across embodiments. Differences in kinematics, joint definitions, and degrees of freedom make it difficult to define a shared state representation compared with parallel grippers. As a result, dexterous-hand data remains fragmented and difficult to use for joint training. In this work, we propose the Unified Dexterous Hand Model (UDHM), which maps human and robot hand states into a shared 22-DoF semantic interface. Based on UDHM, we introduce UniDexTok, a retargeting-free state tokenizer that learns embodiment-conditioned discrete tokens from standardized real joint states. UniDexTok provides a unified representation for heterogeneous dexterous hands without relying on retargeting or simulation data. Compared with the recent baseline UniHM, UniDexTok reduces MPJAE from 15.63 degrees to 0.16 degrees and MPJPE from 18.51 mm to 0.18 mm, corresponding to error reductions of 98.98% and 99.03%, respectively. These results improve reconstruction from centimeter-scale to sub-millimeter accuracy. Experiments further show that data from other embodiments improves target-embodiment reconstruction accuracy, demonstrating the benefit of cross-embodiment tokenization. UniDexTok also shows strong zero-shot and few-shot reconstruction ability when new dexterous hands are introduced.