Dense 3D Reconstruction Through Lidar: A Comparative Study on Ex-vivo Porcine Tissue
作者: Guido Caccianiga, Julian Nubert, Marco Hutter, Katherine J. Kuchenbecker
分类: eess.IV, cs.CV, cs.RO
发布日期: 2024-01-19
💡 一句话要点
通过激光雷达实现腹腔组织的高精度3D重建
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)
关键词: 激光雷达 3D重建 微创手术 深度感知 统计分析 组织成像 计算机辅助外科 光谱成像
📋 核心要点
- 现有的基于视觉的手术辅助技术在实时和准确的3D重建方面面临挑战，特别是在微创手术中。
- 本研究提出使用激光雷达进行解剖表面重建，通过定量测试评估其在离体猪组织上的表现。
- 实验结果表明，激光雷达在精度、处理延迟和鲁棒性方面优于基于学习的立体匹配方法，具有显著的应用潜力。
📝 摘要（中文）
新型传感技术和更先进的处理算法正在改变计算机辅助外科手术。尽管研究者们积极探索基于视觉的手术辅助的深度感知和3D重建，但在微创手术中实现实时、准确和稳健的腹腔3D表示仍然困难。因此，本研究通过对新鲜的离体猪组织进行定量测试，全面评估了基于激光的飞行时间传感器（激光雷达）在解剖表面重建中的质量。通过商业激光扫描仪捕获真实表面形状，并使用严格的统计工具分析结果的误差场。与现代基于学习的内窥镜图像立体匹配相比，飞行时间传感器展示了更高的精度、更低的处理延迟、更高的帧率以及对传感器距离和光照不足的更强鲁棒性。此外，我们还报告了近红外光穿透对激光雷达测量精度的潜在负面影响，发现肌肉样本的测量深度偏移显著高于脂肪和肝脏。我们的研究结果突显了激光雷达在术中3D感知中的潜力，并指向结合互补的飞行时间和光谱成像的新方法。
🔬 方法详解
问题定义：本论文旨在解决在微创手术中实现实时、准确和稳健的3D重建问题。现有的视觉基础方法在光照和传感器距离变化时表现不佳，难以满足手术需求。
核心思路：论文提出利用激光雷达技术进行解剖表面重建，利用其高精度和快速处理能力来克服现有方法的局限性。通过对新鲜离体猪组织进行测试，评估激光雷达的性能。
技术框架：研究首先使用商业激光扫描仪获取真实表面形状，然后通过激光雷达进行数据采集，最后利用统计工具分析误差场。整体流程包括数据采集、误差分析和性能比较。
关键创新：本研究的主要创新在于将激光雷达应用于腹腔组织的3D重建，展示了其在精度和鲁棒性方面的优势，尤其是在复杂的手术环境中。
关键设计：在实验中，设置了不同的传感器距离和光照条件，评估了激光雷达在不同组织样本（如肌肉、脂肪和肝脏）上的表现，特别关注了近红外光对测量精度的影响。实验结果通过严格的统计分析进行验证。
🖼️ 关键图片
📊 实验亮点
实验结果显示，激光雷达在解剖表面重建中表现出更高的精度和更低的处理延迟，相较于基于学习的立体匹配方法，激光雷达的帧率更高，鲁棒性更强。特别是在不同组织样本中，激光雷达的测量深度偏移在肌肉样本中显著高于脂肪和肝脏，揭示了其在实际应用中的重要性。
🎯 应用场景
该研究的潜在应用领域包括微创手术中的实时3D成像和导航，能够为外科医生提供更准确的解剖信息，提升手术安全性和效果。此外，结合激光雷达与光谱成像的方法可能在未来的医学成像技术中发挥重要作用。
📄 摘要（原文）
New sensing technologies and more advanced processing algorithms are transforming computer-integrated surgery. While researchers are actively investigating depth sensing and 3D reconstruction for vision-based surgical assistance, it remains difficult to achieve real-time, accurate, and robust 3D representations of the abdominal cavity for minimally invasive surgery. Thus, this work uses quantitative testing on fresh ex-vivo porcine tissue to thoroughly characterize the quality with which a 3D laser-based time-of-flight sensor (lidar) can perform anatomical surface reconstruction. Ground-truth surface shapes are captured with a commercial laser scanner, and the resulting signed error fields are analyzed using rigorous statistical tools. When compared to modern learning-based stereo matching from endoscopic images, time-of-flight sensing demonstrates higher precision, lower processing delay, higher frame rate, and superior robustness against sensor distance and poor illumination. Furthermore, we report on the potential negative effect of near-infrared light penetration on the accuracy of lidar measurements across different tissue samples, identifying a significant measured depth offset for muscle in contrast to fat and liver. Our findings highlight the potential of lidar for intraoperative 3D perception and point toward new methods that combine complementary time-of-flight and spectral imaging.