RapidVol: Rapid Reconstruction of 3D Ultrasound Volumes from Sensorless 2D Scans
作者: Mark C. Eid, Pak-Hei Yeung, Madeleine K. Wyburd, João F. Henriques, Ana I. L. Namburete
分类: eess.IV, cs.CV
发布日期: 2024-04-16
💡 一句话要点
提出RapidVol以解决2D超声图像重建3D体积问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 超声成像 3D重建 机器学习 医学影像 神经网络 张量分解 鲁棒性
📋 核心要点
- 现有的2D超声成像方法无法有效捕获3D解剖结构的上下文信息，导致信息损失。
- RapidVol通过神经表示框架和张量秩分解技术，快速从2D扫描重建3D体积，显著提高效率。
- 实验结果表明，RapidVol在速度上比现有方法快3倍，准确度提高46%，并在姿态不准确时表现更佳。
📝 摘要（中文）
二维自由手超声成像是常用的医学成像方式，尤其在妇产科中。然而，它仅捕获3D解剖结构的2D切面，丧失了重要的上下文信息。为避免昂贵且复杂的3D超声扫描仪，研究者们尝试通过机器学习从2D扫描构建3D体积，但通常计算时间较长。本文提出RapidVol，一个神经表示框架，以加速切片到体积的超声重建。通过张量秩分解，将典型的3D体积分解为三平面集合，并存储这些集合及一个小型神经网络。只需一组2D超声扫描及其3D位置和方向的真实或估计值，即可形成完整的3D重建。与基于完全隐式表示的方法相比，本文方法速度提升超过3倍，准确度提高46%，且在姿态不准确时更具鲁棒性。
🔬 方法详解
问题定义：本文旨在解决从2D超声图像重建3D体积时的计算效率低下问题。现有方法通常需要较长的计算时间，且在姿态不准确时表现不佳。
核心思路：RapidVol的核心思路是利用神经网络和张量秩分解技术，将3D体积分解为多个三平面集合，从而加速重建过程。通过这种方式，重建不仅更快，而且在姿态不准确的情况下也能保持较高的鲁棒性。
技术框架：RapidVol的整体架构包括数据输入模块（2D超声扫描及其姿态信息）、张量秩分解模块（将3D体积分解为三平面）、神经网络模块（用于重建3D体积）以及输出模块（生成3D重建结果）。
关键创新：本文的关键创新在于使用张量秩分解技术来替代传统的完全隐式表示方法，从而在速度和准确性上实现显著提升。与现有方法相比，RapidVol在重建速度和鲁棒性上具有明显优势。
关键设计：在技术细节上，RapidVol采用了小型神经网络结构，优化了损失函数以提高重建精度，并通过结构先验进一步加速重建过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RapidVol在重建速度上比以往方法快超过3倍，准确度提高46%。此外，该方法在面对姿态不准确的情况下表现出更强的鲁棒性，显示出其在实际应用中的优势。
🎯 应用场景
RapidVol的研究成果在医学影像学领域具有广泛的应用潜力，尤其是在妇产科的超声成像中。通过快速而准确地重建3D体积，医生可以更好地理解和分析患者的解剖结构，从而提高诊断和治疗的效果。未来，该技术还可能扩展到其他医学成像领域，推动超声成像技术的进步。
📄 摘要（原文）
Two-dimensional (2D) freehand ultrasonography is one of the most commonly used medical imaging modalities, particularly in obstetrics and gynaecology. However, it only captures 2D cross-sectional views of inherently 3D anatomies, losing valuable contextual information. As an alternative to requiring costly and complex 3D ultrasound scanners, 3D volumes can be constructed from 2D scans using machine learning. However this usually requires long computational time. Here, we propose RapidVol: a neural representation framework to speed up slice-to-volume ultrasound reconstruction. We use tensor-rank decomposition, to decompose the typical 3D volume into sets of tri-planes, and store those instead, as well as a small neural network. A set of 2D ultrasound scans, with their ground truth (or estimated) 3D position and orientation (pose) is all that is required to form a complete 3D reconstruction. Reconstructions are formed from real fetal brain scans, and then evaluated by requesting novel cross-sectional views. When compared to prior approaches based on fully implicit representation (e.g. neural radiance fields), our method is over 3x quicker, 46% more accurate, and if given inaccurate poses is more robust. Further speed-up is also possible by reconstructing from a structural prior rather than from scratch.