Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis
作者: Yuanhao Cai, Yixun Liang, Jiahao Wang, Angtian Wang, Yulun Zhang, Xiaokang Yang, Zongwei Zhou, Alan Yuille
分类: eess.IV, cs.CV
发布日期: 2024-03-07 (更新: 2024-10-26)
备注: ECCV 2024; The first 3D Gaussian Splatting-based method for X-ray 3D reconstruction
🔗 代码/项目: GITHUB
💡 一句话要点
提出X-Gaussian以解决X射线新视角合成问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)
关键词: X射线成像 新视角合成 高斯点云 可微光栅化 稀疏视图CT重建 深度学习 计算机视觉
📋 核心要点
- 现有基于NeRF的方法在X射线新视角合成中存在训练时间长和推理速度慢的挑战。
- 本文提出的X-Gaussian框架通过重新设计辐射高斯点云模型，优化了X射线成像的处理方式。
- 实验结果显示，X-Gaussian在性能上超越了现有方法，提升幅度达到6.5 dB，且训练时间和推理速度显著改善。
📝 摘要（中文）
X射线因其较强的穿透力广泛应用于传输成像。在新视角X射线投影的渲染中，基于NeRF的现有方法面临训练时间长和推理速度慢的问题。本文提出了一种基于3D高斯点云的框架X-Gaussian，重新设计了受X射线成像各向同性特性启发的辐射高斯点云模型，排除了视角方向对3D点辐射强度预测的影响。我们开发了CUDA实现的可微辐射光栅化（DRR），并定制了角度-姿态立方体均匀初始化（ACUI）策略，直接利用X射线扫描仪的参数计算相机信息。实验表明，X-Gaussian在性能上超越了最先进的方法，训练时间减少了15%，推理速度提升超过73倍。
🔬 方法详解
问题定义：本文旨在解决现有基于NeRF的X射线新视角合成方法在训练时间和推理速度上的不足。现有方法通常需要较长的训练时间，并且在推理时效率较低，限制了其实际应用。
核心思路：论文提出的X-Gaussian框架通过设计辐射高斯点云模型，排除了视角方向对辐射强度预测的影响，从而提高了模型的效率和准确性。这种设计灵感来源于X射线成像的各向同性特性。
技术框架：X-Gaussian框架主要包括两个模块：辐射高斯点云模型和可微辐射光栅化（DRR）。辐射高斯点云模型用于预测3D点的辐射强度，而DRR则负责将这些点转换为图像。ACUI策略用于初始化相机参数和点位置。
关键创新：最重要的创新在于辐射高斯点云模型的设计，它有效地消除了视角方向的影响，使得模型在不同视角下的表现更加一致。这一创新与现有方法的本质区别在于其对视角的处理方式。
关键设计：在实现中，采用了CUDA进行DRR的高效实现，确保了推理速度的提升。同时，ACUI策略的设计使得点位置的均匀采样更加高效，直接利用X射线扫描仪的参数进行初始化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，X-Gaussian在性能上超越了最先进的方法，提升幅度达到6.5 dB，同时训练时间减少了15%，推理速度提升超过73倍。这些结果展示了该方法在实际应用中的显著优势。
🎯 应用场景
该研究在医疗成像领域具有广泛的应用潜力，尤其是在稀疏视图CT重建中，能够有效提高成像质量和速度。未来，X-Gaussian框架可能在其他类型的成像技术中得到推广，提升各类成像系统的效率和准确性。
📄 摘要（原文）
X-ray is widely applied for transmission imaging due to its stronger penetration than natural light. When rendering novel view X-ray projections, existing methods mainly based on NeRF suffer from long training time and slow inference speed. In this paper, we propose a 3D Gaussian splatting-based framework, namely X-Gaussian, for X-ray novel view synthesis. Firstly, we redesign a radiative Gaussian point cloud model inspired by the isotropic nature of X-ray imaging. Our model excludes the influence of view direction when learning to predict the radiation intensity of 3D points. Based on this model, we develop a Differentiable Radiative Rasterization (DRR) with CUDA implementation. Secondly, we customize an Angle-pose Cuboid Uniform Initialization (ACUI) strategy that directly uses the parameters of the X-ray scanner to compute the camera information and then uniformly samples point positions within a cuboid enclosing the scanned object. Experiments show that our X-Gaussian outperforms state-of-the-art methods by 6.5 dB while enjoying less than 15% training time and over 73x inference speed. The application on sparse-view CT reconstruction also reveals the practical values of our method. Code is publicly available at https://github.com/caiyuanhao1998/X-Gaussian . A video demo of the training process visualization is at https://www.youtube.com/watch?v=gDVf_Ngeghg .