3D Freehand Ultrasound using Visual Inertial and Deep Inertial Odometry for Measuring Patellar Tracking

📄 arXiv: 2404.15847v1 📥 PDF

作者: Russell Buchanan, S. Jack Tu, Marco Camurri, Stephen J. Mellon, Maurice Fallon

分类: physics.med-ph, cs.CV

发布日期: 2024-04-24

备注: Accepted to IEEE Medical Measurements & Applications (MeMeA) 2024

DOI: 10.1109/MeMeA60663.2024.10596905

💡 一句话要点

提出视觉惯性与深度惯性测量方法以解决膝关节追踪问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 视觉惯性测量 深度学习 手持超声 3D重建 膝关节动态评估 运动捕捉 医学成像

📋 核心要点

  1. 现有的CT和MRI成像方法在观察关节运动时存在成本高、伪影多等问题，限制了其临床应用。
  2. 本文提出了一种基于视觉惯性测量和深度学习的惯性测量方法，旨在实现手持超声扫描的3D重建，避免昂贵的外部基础设施。
  3. 实验结果显示，VIO方法的重建精度与传统运动捕捉方法相当，表明其在膝关节动态评估中的有效性。

📝 摘要（中文）

髌股关节（PFJ）问题影响四分之一的人群，20%的人在治疗后仍感到慢性膝痛。传统成像方法如CT和MRI面临成本高和金属伪影等挑战，且缺乏理想的观察关节运动的方法。本文提出了一种结合2D超声与运动追踪的3D重建系统，利用视觉惯性测量（VIO）和基于深度学习的惯性测量方法，作为手持超声扫描的替代方案。实验结果表明，VIO方法的重建精度与传统运动捕捉方法相当，平均重建误差为1.25mm，显示出其在临床应用中的潜力。

🔬 方法详解

问题定义：本文旨在解决传统成像方法在膝关节运动观察中的局限性，尤其是高成本和伪影问题。现有手持超声扫描缺乏有效的运动追踪手段，影响了3D骨骼重建的准确性。

核心思路：论文提出通过视觉惯性测量（VIO）和深度学习的惯性测量方法，替代传统的运动捕捉系统，实现手持超声的3D重建，降低对外部基础设施的依赖。

技术框架：整体架构包括数据采集、运动估计和3D重建三个主要模块。首先，通过手持超声设备采集2D图像，同时利用VIO进行运动轨迹估计，最后结合语义分割和位置注册实现3D重建。

关键创新：VIO方法是首个无需基础设施的3D重建方案，其重建精度与依赖外部设备的方法相当，突破了传统手持超声扫描的技术瓶颈。

关键设计：在技术细节上，采用了深度学习模型进行图像处理和语义分割，优化了损失函数以提高重建精度，并在参数设置上进行了细致调整，以适应不同的临床场景。

📊 实验亮点

实验结果表明，VIO方法的平均重建误差为1.25mm，与传统运动捕捉方法的1.21mm相当，显示出在基础设施缺失的情况下，依然能够实现高精度的3D重建。这一成果为手持超声在临床应用中的推广提供了有力支持。

🎯 应用场景

该研究的潜在应用领域包括运动医学、康复治疗和关节外科等。通过提供实时的关节运动监测，能够帮助医生更好地评估患者的膝关节动态，进而改善治疗方案和患者的康复效果。未来，该技术有望推广至其他关节的监测与评估。

📄 摘要（原文）

Patellofemoral joint (PFJ) issues affect one in four people, with 20% experiencing chronic knee pain despite treatment. Poor outcomes and pain after knee replacement surgery are often linked to patellar mal-tracking. Traditional imaging methods like CT and MRI face challenges, including cost and metal artefacts, and there's currently no ideal way to observe joint motion without issues such as soft tissue artefacts or radiation exposure. A new system to monitor joint motion could significantly improve understanding of PFJ dynamics, aiding in better patient care and outcomes. Combining 2D ultrasound with motion tracking for 3D reconstruction of the joint using semantic segmentation and position registration can be a solution. However, the need for expensive external infrastructure to estimate the trajectories of the scanner remains the main limitation to implementing 3D bone reconstruction from handheld ultrasound scanning clinically. We proposed the Visual-Inertial Odometry (VIO) and the deep learning-based inertial-only odometry methods as alternatives to motion capture for tracking a handheld ultrasound scanner. The 3D reconstruction generated by these methods has demonstrated potential for assessing the PFJ and for further measurements from free-hand ultrasound scans. The results show that the VIO method performs as well as the motion capture method, with average reconstruction errors of 1.25 mm and 1.21 mm, respectively. The VIO method is the first infrastructure-free method for 3D reconstruction of bone from wireless handheld ultrasound scanning with an accuracy comparable to methods that require external infrastructure.