DexDirect: Direct Kinesthetic Arm Guidance for Efficient Dexterous Demonstration Collection
作者: Beom Jun Kim, Shiu-Jen Wang, Jonathan Liu, Alvin Zhu, Quanyou Wang, Hanzhang Fang, Feng Xu, Mingzhang Zhu, Yuchen Cui, Dennis W. Hong
分类: cs.RO
发布日期: 2026-07-30
备注: 8pages, 6 figures
💡 一句话要点
提出DexDirect以解决机器人学习中的演示收集效率问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)
关键词: 灵巧操作 机器人学习 演示收集 动力学引导 视觉重定向 人机交互 效率提升
📋 核心要点
- 现有的灵巧操作演示收集方法面临高成本和复杂设置的挑战，导致效率低下。
- DexDirect通过直接动力学手臂引导和视觉手部重定向，提供了一种高效的演示收集方式。
- 实验结果显示，DexDirect在演示收集成功率上显著优于现有方法，并降低了操作员的心理负担。
📝 摘要（中文）
高效收集灵巧操作演示仍然是机器人学习中的主要瓶颈。高保真接口通常需要昂贵的硬件和复杂的设置，而低成本的替代方案则往往提供较低的控制精度并增加操作员的认知负担。本文提出DexDirect，一种直接的动力学手臂引导方法，旨在高效收集灵巧演示。操作员通过手柄直接拖动一个6自由度的重力补偿机器人手臂，同时单个摄像头将操作员的另一只手映射到一个具有16个关节和13自由度的灵巧机器人手上。用户研究表明，DexDirect相比于纯视觉（AnyTeleop）和姿态跟踪（TeleDex）基线，成功收集的演示数量分别提高了17.2倍和3.2倍。经过调整的NASA-TLX显示，尽管物理需求增加，DexDirect显著降低了心理需求、努力和挫败感。基于DexDirect演示训练的扩散策略在立方体抓取和放置任务中达到了90%的成功率。这些结果表明，结合视觉手部重定向的直接动力学手臂引导提供了一种高效、低设置和可扩展的灵巧操作演示收集接口。
🔬 方法详解
问题定义：本文旨在解决灵巧操作演示收集中的效率瓶颈，现有方法往往依赖昂贵的硬件和复杂的设置，导致操作员的认知负担加重，成功率低下。
核心思路：DexDirect的核心思路是结合直接的动力学手臂引导与视觉手部重定向，使操作员能够以更自然的方式进行演示收集，从而提高效率和成功率。
技术框架：DexDirect的整体架构包括一个6自由度的重力补偿机器人手臂和一个单摄像头系统，后者负责将操作员的手部动作实时映射到灵巧机器人手上。操作员通过手柄直接控制手臂，简化了操作流程。
关键创新：DexDirect的主要创新在于其直接的动力学手臂引导方式，显著降低了操作员的认知负担，同时提高了演示收集的成功率，与传统的视觉或姿态跟踪方法相比，提供了更高的效率。
关键设计：在设计上，DexDirect采用了重力补偿机制以提升操作的自然性，并通过单摄像头系统实现手部的实时重定向。实验中使用了调整后的NASA-TLX量表来评估操作员的心理负担和物理需求。
🖼️ 关键图片
📊 实验亮点
DexDirect在演示收集方面的实验结果显示，相比于纯视觉和姿态跟踪基线，成功演示数量分别提高了17.2倍和3.2倍。同时，经过调整的NASA-TLX评估表明，DexDirect显著降低了操作员的心理需求、努力和挫败感，尽管物理需求有所增加。基于DexDirect演示训练的扩散策略在立方体抓取和放置任务中达到了90%的成功率，展现了其有效性。
🎯 应用场景
DexDirect的研究成果在机器人学习、自动化制造和人机交互等领域具有广泛的应用潜力。通过提高灵巧操作演示的收集效率，该方法能够加速机器人学习过程，降低开发成本，并提升机器人在复杂任务中的表现。未来，DexDirect可能会推动更智能的机器人系统的开发，使其能够在更多实际场景中应用。
📄 摘要（原文）
Scalable collection of dexterous manipulation demonstrations remains a major bottleneck for robot learning. High-fidelity interfaces often require costly hardware and extensive setup, while low-setup, low cost alternatives tend to provide less precise control and impose greater cognitive workload on operators. We present DexDirect, a direct kinesthetic arm guidance for efficient dexterous demonstration collection. The operator drags a 6-DoF gravity-compensated robot arm directly by a handle, while a single webcam retargets operator's other hand onto a 16 joints 13-DoF dexterous robot hand. User studies suggest DexDirect collects 17.2x and 3.2x more successful demonstrations compared to purely vision (AnyTeleop) and pose-tracking (TeleDex) baselines. An adapted NASA-TLX shows DexDirect greatly reduces mental demand, effort, and frustration, despite raising physical demand. A diffusion policy trained on DexDirect demonstrations reaches a 90% success rate on a cube pick-and-place task. These results suggest that direct kinesthetic arm guidance combined with vision-based hand retargeting provides an efficient low-setup and scalable interface for collecting dexterous manipulation demonstrations