FSGlove: An Inertial-Based Hand Tracking System with Shape-Aware Calibration

📄 arXiv: 2509.21242v1 📥 PDF

作者: Yutong Li, Jieyi Zhang, Wenqiang Xu, Tutian Tang, Cewu Lu

分类: cs.RO

发布日期: 2025-09-25

备注: Presented at IROS 2025, details are available at https://fsglove.robotflow.ai

💡 一句话要点

FSGlove：一种基于惯性传感的、具有形状感知校准的手部追踪系统

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 手部动作捕捉 惯性传感器 形状感知 可微校准 MANO模型

📋 核心要点

  1. 现有手部动作捕捉系统难以同时捕捉高自由度关节运动和个性化手部形状，限制了在复杂操作和富接触任务中的应用。
  2. FSGlove通过在手指关节和手背部署IMU，并结合DiffHCal校准方法，实现了高精度、高自由度的手部运动追踪和形状重建。
  3. 实验结果表明，FSGlove在关节角度误差和形状重建方面优于现有商用手套，并能捕捉细微的手部运动，提升了接触保真度。

📝 摘要（中文）

精确的手部动作捕捉(MoCap)对于机器人、虚拟现实和生物力学等应用至关重要，但现有系统在捕捉高自由度(DoF)关节运动学和个性化手部形状方面存在局限性。商用手套提供高达21个自由度，但对于复杂操作来说是不够的，同时忽略了对于富接触任务至关重要的形状变化。我们提出了FSGlove，一种基于惯性传感的系统，可以同时追踪高达48个自由度，并通过一种新颖的校准方法DiffHCal重建个性化的手部形状。每个手指关节和手背都配备了IMU，从而实现高分辨率的运动感知。DiffHCal通过可微优化与参数化的MANO模型集成，在单个简化的校准过程中解决关节运动学、形状参数和传感器未对准问题。该系统实现了最先进的精度，关节角度误差小于2.7度，并且在形状重建和接触保真度方面优于商用替代方案。FSGlove的开源硬件和软件设计确保了与当前VR和机器人生态系统的兼容性，同时其捕捉细微运动（例如，指尖摩擦）的能力弥合了人类灵巧性和机器人模仿之间的差距。通过与Nokov光学MoCap进行评估，FSGlove通过统一运动学和接触保真度来推进手部追踪技术。硬件设计、软件和更多结果可在以下网址获得：https://sites.google.com/view/fsglove。

🔬 方法详解

问题定义：现有手部动作捕捉系统，特别是商用手套，在捕捉高自由度（例如超过21个自由度）的手部运动以及个性化的手部形状方面存在不足。这限制了它们在需要精细操作和精确接触信息的应用中的使用，例如机器人灵巧操作、虚拟现实交互和生物力学分析。现有方法要么自由度不足，要么无法准确捕捉个体差异化的手部形状，导致在模拟真实手部运动和交互时出现偏差。

核心思路：FSGlove的核心思路是通过增加惯性测量单元（IMU）的数量来提高手部运动捕捉的自由度，并利用一种新的可微校准方法（DiffHCal）来同时优化关节运动学、手部形状参数和传感器对齐。这种方法将IMU数据与参数化的MANO手部模型相结合，通过可微优化实现个性化手部形状的重建和高精度运动追踪。

技术框架：FSGlove系统主要包含以下几个模块：1) 硬件部分：在每个手指关节和手背上安装IMU传感器，以获取高分辨率的运动数据。2) 校准部分：DiffHCal算法，通过可微优化将IMU数据与MANO模型对齐，估计关节运动学、形状参数和传感器偏差。3) 运动追踪部分：利用校准后的参数和IMU数据，实时追踪手部的运动。4) 数据输出部分：将追踪结果以标准格式输出，方便与其他VR和机器人系统集成。

关键创新：FSGlove的关键创新在于DiffHCal校准方法。DiffHCal通过可微优化将IMU数据与参数化的MANO模型集成，从而能够同时估计关节运动学、手部形状参数和传感器偏差。与传统的校准方法相比，DiffHCal无需手动标定或外部设备，可以在单个简化的过程中完成校准，并且能够更好地处理传感器偏差和个体手部形状差异。

关键设计：DiffHCal的关键设计包括：1) 使用参数化的MANO模型来表示手部形状，从而可以利用MANO模型的先验知识来约束优化过程。2) 设计可微的损失函数，将IMU数据与MANO模型的预测进行比较，并惩罚传感器偏差和形状误差。3) 使用优化算法（例如Adam）来最小化损失函数，从而获得最佳的关节运动学、形状参数和传感器对齐。

📊 实验亮点

FSGlove在实验中表现出卓越的性能。关节角度误差小于2.7度，显著优于现有的商用手套。在形状重建方面，FSGlove能够更准确地捕捉个体手部形状的差异，提高了接触保真度。与Nokov光学动作捕捉系统相比，FSGlove在某些指标上达到了可比的精度，同时具有更高的便携性和灵活性。开源的硬件和软件设计也促进了FSGlove在各个领域的应用。

🎯 应用场景

FSGlove在多个领域具有广泛的应用前景。在机器人领域，它可以用于远程操作、机器人灵巧手控制和模仿学习，使机器人能够更精确地模仿人类的手部动作。在虚拟现实领域，它可以提供更逼真的手部交互体验，增强沉浸感。在生物力学领域，它可以用于手部运动分析、康复训练和假肢控制。此外，FSGlove还可以应用于人机交互、游戏和医疗等领域，具有重要的实际价值和未来影响。

📄 摘要（原文）

Accurate hand motion capture (MoCap) is vital for applications in robotics, virtual reality, and biomechanics, yet existing systems face limitations in capturing high-degree-of-freedom (DoF) joint kinematics and personalized hand shape. Commercial gloves offer up to 21 DoFs, which are insufficient for complex manipulations while neglecting shape variations that are critical for contact-rich tasks. We present FSGlove, an inertial-based system that simultaneously tracks up to 48 DoFs and reconstructs personalized hand shapes via DiffHCal, a novel calibration method. Each finger joint and the dorsum are equipped with IMUs, enabling high-resolution motion sensing. DiffHCal integrates with the parametric MANO model through differentiable optimization, resolving joint kinematics, shape parameters, and sensor misalignment during a single streamlined calibration. The system achieves state-of-the-art accuracy, with joint angle errors of less than 2.7 degree, and outperforms commercial alternatives in shape reconstruction and contact fidelity. FSGlove's open-source hardware and software design ensures compatibility with current VR and robotics ecosystems, while its ability to capture subtle motions (e.g., fingertip rubbing) bridges the gap between human dexterity and robotic imitation. Evaluated against Nokov optical MoCap, FSGlove advances hand tracking by unifying the kinematic and contact fidelity. Hardware design, software, and more results are available at: https://sites.google.com/view/fsglove.