DEX-PHD: A Dexterous Portable Handheld Device for Multimodal Data Collection

📄 arXiv: 2610.35462v1 📥 PDF

作者: Jooyoung Hong, Noboru Myers, Obin Kwon, Yixian Yang, Joohyung Kim

分类: cs.RO

发布日期: 2026-10-26

💡 一句话要点

提出DEX-PHD以解决多模态数据收集的便携性与准确性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 灵巧操作 多模态数据收集 便携设备 机器人手 开放式重放 人机交互 传感器技术

📋 核心要点

  1. 现有的数据收集方法在准确性与便携性之间存在明显的权衡，难以同时满足这两方面的需求。
  2. DEX-PHD通过集成灵巧机器人手和多模态记录功能，提供了一种新的便携式解决方案，支持灵巧操作。
  3. 实验结果表明，DEX-PHD在开放式重放中成功保留了手指运动的时间模式和接触信息，展示了其有效性。

📝 摘要（中文）

现有的操作数据收集方法通常在准确的机器人状态获取和便携操作之间存在权衡。本文提出了DEX-PHD，这是一种便携式手持设备，结合了灵巧操作的优点，集成了灵巧机器人手、连续的手指控制和多模态记录功能。该系统能够记录本体感知信息、指尖接触数据和腕部摄像头视频，同时操作员通过关节级映射直接控制机器人手。其无缆设计使得数据收集可以在多样化环境中进行。我们在需要协调多指操作的接触丰富任务中演示了DEX-PHD，并通过开放式重放将收集的演示部署到物理人形机器人上。结果表明，开放式重放保留了手指运动的主要时间模式和任务相关的接触。因此，DEX-PHD为便携式多模态灵巧操作数据收集提供了一个实用的平台。

🔬 方法详解

问题定义：现有的数据收集方法通常依赖于运动学链的遥操作以获取准确的机器人状态，或使用基于视觉的方法以实现便携操作，导致两者之间的权衡。

核心思路：DEX-PHD通过结合灵巧机器人手、连续的手指控制和多模态记录，旨在提供一种便携且准确的数据收集工具，支持复杂的灵巧操作。

技术框架：DEX-PHD的整体架构包括灵巧机器人手、传感器模块（用于记录本体感知和接触数据）、摄像头模块（用于视频记录）以及控制接口（实现关节级映射）。

关键创新：DEX-PHD的主要创新在于其无缆设计和多模态数据记录能力，使得在多样化环境中进行灵巧操作成为可能，且能够同时收集多种类型的数据。

关键设计：在设计中，DEX-PHD采用了高精度的传感器以确保数据的准确性，同时在控制算法中实现了关节级的映射，以便于操作员的直接控制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DEX-PHD在开放式重放中能够有效保留手指运动的主要时间模式和任务相关的接触信息，证明了其在多模态数据收集中的有效性。具体而言，重放过程中手指运动的时间模式与实际操作高度一致，展示了其在灵巧操作中的应用潜力。

🎯 应用场景

DEX-PHD在机器人操作、虚拟现实、以及人机交互等领域具有广泛的应用潜力。其便携性和多模态数据收集能力使得在各种环境中进行灵巧操作成为可能，推动了相关领域的研究与应用发展。

📄 摘要（原文）

Existing manipulation data collection methods typically offer either accurate robot-state acquisition through kinematic-chain-based teleoperation or convenient, portable operation through vision-based approaches. We present DEX-PHD, a portable handheld device that combines these advantages for dexterous manipulation by integrating a dexterous robot hand, continuous per-finger control, and multimodal logging. The system records proprioceptive information, fingertip contact data, and wrist-camera video, while the operator directly controls the robot hand through joint-level mapping. Its untethered design enables data collection across diverse environments. We demonstrate DEX-PHD on contact-rich tasks requiring coordinated multi-finger manipulation and deploy the collected demonstrations through open-loop replay on a physical humanoid robot. The results show that open-loop replay preserves the main temporal patterns of finger motion and task-relevant contact. Therefore, DEX-PHD provides a practical platform for portable, multimodal dexterous manipulation data collection.