Domain adaptation strategies for 3D reconstruction of the lumbar spine using real fluoroscopy data
作者: Sascha Jecklin, Youyang Shen, Amandine Gout, Daniel Suter, Lilian Calvet, Lukas Zingg, Jennifer Straub, Nicola Alessandro Cavalcanti, Mazda Farshad, Philipp Fürnstahl, Hooman Esfandiari
分类: cs.CV
发布日期: 2024-01-29 (更新: 2024-06-18)
DOI: 10.1016/j.media.2024.103322
💡 一句话要点
提出基于真实透视数据的3D重建方法以解决手术导航问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D重建 迁移学习 样式迁移 骨科手术 实时导航 深度学习 透视图像
📋 核心要点
- 现有方法在手术导航中面临时间、成本和辐射等多重挑战，限制了其实际应用。
- 本研究通过构建合成与真实透视图像的配对数据集，利用迁移学习优化深度学习模型，缩小领域差距。
- 优化后的模型在仅需三张透视图的情况下，能够快速生成准确的3D重建，F1分数达到84%。
📝 摘要（中文）
本研究针对在骨科手术中采用手术导航的关键障碍，包括时间、成本、辐射和工作流程整合等挑战。我们提出了一种新颖的数据收集协议，构建了一个包含合成和真实透视图像的配对数据集。通过迁移学习，我们优化了深度学习模型，有效缩小了合成与真实X光数据之间的领域差距。实验结果表明，优化后的模型能够快速生成准确的腰椎3D重建，且计算时间仅为81.1毫秒，具备实时应用能力。
🔬 方法详解
问题定义：本研究旨在解决在骨科手术中，合成训练数据与真实手术图像之间的领域差距问题。现有方法依赖于传统的注册技术，难以实现实时的3D重建。
核心思路：我们提出了一种新颖的数据收集协议，构建了合成与真实透视图像的配对数据集，并通过迁移学习优化深度学习模型，以有效缩小领域差距。
技术框架：整体流程包括数据收集、模型训练和实时3D重建。首先收集合成与真实图像，然后利用迁移学习对模型进行优化，最后实现快速的3D重建。
关键创新：本研究的核心创新在于引入了一种样式迁移机制，使得真实X光图像能够转换为合成领域的样式，从而提高模型在真实场景中的准确性。
关键设计：在模型设计中，我们采用了特定的损失函数以优化样式迁移效果，并在网络结构上进行了调整，以适应不同视角的图像输入。
🖼️ 关键图片
📊 实验亮点
实验结果显示，优化后的模型在仅使用三张透视图的情况下，能够快速生成准确的腰椎3D重建，F1分数达到84%，计算时间仅为81.1毫秒，展现出优越的实时性能。
🎯 应用场景
该研究的潜在应用领域包括骨科手术中的实时导航和规划，能够显著提升手术的精确性和安全性。未来，该技术有望在其他外科领域中推广应用，推动手术机器人和智能导航系统的发展。
📄 摘要（原文）
This study tackles key obstacles in adopting surgical navigation in orthopedic surgeries, including time, cost, radiation, and workflow integration challenges. Recently, our work X23D showed an approach for generating 3D anatomical models of the spine from only a few intraoperative fluoroscopic images. This negates the need for conventional registration-based surgical navigation by creating a direct intraoperative 3D reconstruction of the anatomy. Despite these strides, the practical application of X23D has been limited by a domain gap between synthetic training data and real intraoperative images. In response, we devised a novel data collection protocol for a paired dataset consisting of synthetic and real fluoroscopic images from the same perspectives. Utilizing this dataset, we refined our deep learning model via transfer learning, effectively bridging the domain gap between synthetic and real X-ray data. A novel style transfer mechanism also allows us to convert real X-rays to mirror the synthetic domain, enabling our in-silico-trained X23D model to achieve high accuracy in real-world settings. Our results demonstrated that the refined model can rapidly generate accurate 3D reconstructions of the entire lumbar spine from as few as three intraoperative fluoroscopic shots. It achieved an 84% F1 score, matching the accuracy of our previous synthetic data-based research. Additionally, with a computational time of only 81.1 ms, our approach provides real-time capabilities essential for surgery integration. Through examining ideal imaging setups and view angle dependencies, we've further confirmed our system's practicality and dependability in clinical settings. Our research marks a significant step forward in intraoperative 3D reconstruction, offering enhancements to surgical planning, navigation, and robotics.