Glovity: Learning Dexterous Contact-Rich Manipulation via Spatial Wrench Feedback Teleoperation System

📄 arXiv: 2510.09229v1 📥 PDF

作者: Yuyang Gao, Haofei Ma, Pai Zheng

分类: cs.RO

发布日期: 2025-10-10

💡 一句话要点

Glovity：基于空间力/力矩反馈遥操作系统学习灵巧的接触丰富操作

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 遥操作 力反馈 触觉反馈 灵巧操作 接触丰富操作 模仿学习 机器人控制

📋 核心要点

  1. 接触丰富的灵巧操作任务对机器人控制提出了挑战，现有方法缺乏直观的力反馈和精确的具身重定向。
  2. Glovity系统通过集成的空间力/力矩反馈设备和触觉手套，为操作者提供直观的力觉和触觉反馈，并进行精确的重定向。
  3. 实验表明，Glovity显著提高了接触丰富任务的成功率和效率，例如翻书和薄物体抓取，并成功应用于模仿学习中。

📝 摘要（中文）

本文提出了一种新型、低成本的可穿戴遥操作系统Glovity，它集成了空间力/力矩（wrench）反馈设备和一个具有指尖霍尔传感器校准的触觉手套，从而实现反馈丰富的灵巧操作。Glovity通过提供直观的力/力矩和触觉反馈，同时通过精确的重定向克服了具身差距，从而解决了接触丰富任务中的关键挑战。用户研究表明，力/力矩反馈将翻书任务的成功率从48%提高到78%，并将完成时间减少了25%，而指尖校准显著提高了薄物体的抓取成功率，优于商业手套。此外，将力/力矩信号整合到模仿学习（通过DP-R3M）中，在新的接触丰富场景中实现了高成功率，例如自适应翻页和力感知的物体交接。所有硬件设计和软件都将开源。项目网站：https://glovity.github.io/

🔬 方法详解

问题定义：论文旨在解决接触丰富的灵巧操作任务中，机器人缺乏足够力觉和触觉反馈，以及操作者与机器人之间存在具身差距的问题。现有方法难以提供直观的力反馈，导致操作精度和效率低下。

核心思路：论文的核心思路是构建一个低成本、可穿戴的遥操作系统，该系统能够提供空间力/力矩反馈和触觉反馈，并通过精确的重定向来弥合操作者与机器人之间的具身差距。通过这种方式，操作者可以更直观地感知环境，并进行更精确的控制。

技术框架：Glovity系统主要由以下几个部分组成：1) 可穿戴的触觉手套，配备指尖霍尔传感器，用于检测指尖位置和压力；2) 空间力/力矩反馈设备，用于测量操作者施加的力和力矩，并将这些信息反馈给机器人；3) 重定向模块，用于将操作者的动作映射到机器人的动作，并补偿具身差距；4) 模仿学习模块，用于将操作者的操作轨迹学习为机器人的控制策略。

关键创新：该论文的关键创新在于：1) 集成了空间力/力矩反馈和触觉反馈，为操作者提供了更丰富的感知信息；2) 提出了指尖霍尔传感器校准方法，提高了触觉感知的精度；3) 将力/力矩信号整合到模仿学习中，提高了机器人在新的接触丰富场景中的泛化能力。与现有方法相比，Glovity系统能够提供更直观、更精确的控制，从而提高了接触丰富任务的成功率和效率。

关键设计：指尖霍尔传感器的校准方法，用于提高触觉感知的精度。力/力矩反馈设备的具体设计，包括传感器的选择和布局。重定向模块的具体算法，用于将操作者的动作映射到机器人的动作。模仿学习模块中，DP-R3M算法的具体参数设置和损失函数设计。

📊 实验亮点

实验结果表明，Glovity系统在翻书任务中，力/力矩反馈将成功率从48%提高到78%，并将完成时间减少了25%。指尖校准显著提高了薄物体的抓取成功率，优于商业手套。此外，将力/力矩信号整合到模仿学习（通过DP-R3M）中，在新的接触丰富场景中实现了高成功率，例如自适应翻页和力感知的物体交接。

🎯 应用场景

Glovity系统具有广泛的应用前景，包括远程医疗、危险环境下的操作、精密装配等。例如，医生可以通过Glovity系统进行远程手术，从而减少患者的痛苦和风险。在核电站等危险环境中，操作人员可以通过Glovity系统进行远程维护和修复，从而避免人员伤亡。此外，Glovity系统还可以应用于精密装配等领域，提高生产效率和产品质量。

📄 摘要（原文）

We present Glovity, a novel, low-cost wearable teleoperation system that integrates a spatial wrench (force-torque) feedback device with a haptic glove featuring fingertip Hall sensor calibration, enabling feedback-rich dexterous manipulation. Glovity addresses key challenges in contact-rich tasks by providing intuitive wrench and tactile feedback, while overcoming embodiment gaps through precise retargeting. User studies demonstrate significant improvements: wrench feedback boosts success rates in book-flipping tasks from 48% to 78% and reduces completion time by 25%, while fingertip calibration enhances thin-object grasping success significantly compared to commercial glove. Furthermore, incorporating wrench signals into imitation learning (via DP-R3M) achieves high success rate in novel contact-rich scenarios, such as adaptive page flipping and force-aware handovers. All hardware designs, software will be open-sourced. Project website: https://glovity.github.io/