Structure-Aware Sparse-View X-ray 3D Reconstruction

📄 arXiv: 2311.10959v3 📥 PDF

作者: Yuanhao Cai, Jiahao Wang, Alan Yuille, Zongwei Zhou, Angtian Wang

分类: eess.IV, cs.CV

发布日期: 2023-11-18 (更新: 2024-03-23)

备注: CVPR 2024; The first Transformer-based method for X-ray and CT 3D reconstruction

🔗 代码/项目: GITHUB

💡 一句话要点

提出结构感知稀疏视图X射线3D重建方法以解决现有NeRF算法的局限性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: X射线重建 神经辐射场 3D重建 机器学习 计算机视觉

📋 核心要点

  1. 现有的NeRF算法未能充分利用X射线的结构信息，导致在3D重建中存在显著的性能不足。
  2. 本文提出的SAX-NeRF框架通过Lineformer和MLG采样策略，能够有效捕捉X射线图像中的内部结构信息。
  3. 在X3D数据集上的实验结果显示，SAX-NeRF在新视图合成和CT重建任务中显著优于现有方法，提升幅度分别为12.56和2.49 dB。

📝 摘要（中文）

X射线因其揭示物体内部结构的能力，预计能为3D重建提供比可见光更丰富的信息。然而，现有的神经辐射场（NeRF）算法忽视了X射线的这一重要特性，导致在捕捉成像物体的结构内容时存在局限性。本文提出了一种框架，称为结构感知X射线神经辐射密度场（SAX-NeRF），用于稀疏视图X射线3D重建。首先，我们设计了一种基于线段的变换器（Lineformer），作为SAX-NeRF的主干，能够通过建模X射线每个线段内的依赖关系来捕捉物体的内部结构。其次，我们提出了一种掩蔽局部-全局（MLG）光线采样策略，以提取2D投影中的上下文和几何信息。此外，我们收集了一个覆盖更广泛X射线应用的大规模数据集X3D。实验结果表明，SAX-NeRF在新视图合成和CT重建上分别超越了之前的NeRF方法12.56和2.49 dB。

🔬 方法详解

问题定义：本文旨在解决现有NeRF算法在稀疏视图X射线3D重建中未能充分利用X射线结构信息的问题，导致重建效果不佳。

核心思路：提出结构感知X射线神经辐射密度场（SAX-NeRF），通过Lineformer捕捉内部结构，并利用MLG采样策略提取上下文信息，从而提升重建质量。

技术框架：SAX-NeRF的整体架构包括Lineformer作为主干网络，负责建模X射线线段间的依赖关系，以及MLG光线采样模块，用于有效提取2D投影中的几何和上下文信息。

关键创新：最重要的创新在于Lineformer的设计，使得模型能够在3D空间中更好地理解和捕捉物体的内部结构，这与传统的NeRF方法存在本质区别。

关键设计：在网络结构上，Lineformer通过线段建模来增强特征提取能力；MLG采样策略则通过掩蔽机制优化光线采样，确保获取更丰富的上下文信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAX-NeRF在新视图合成任务中比之前的NeRF方法提升了12.56 dB，在CT重建任务中提升了2.49 dB，显示出其在处理稀疏视图X射线数据时的显著优势。

🎯 应用场景

该研究在医学成像、工业无损检测等领域具有广泛的应用潜力。通过提升X射线3D重建的质量，可以更准确地分析内部结构，进而提高诊断和检测的效率与准确性。未来，该方法有望推动相关领域的技术进步与应用普及。

📄 摘要（原文）

X-ray, known for its ability to reveal internal structures of objects, is expected to provide richer information for 3D reconstruction than visible light. Yet, existing neural radiance fields (NeRF) algorithms overlook this important nature of X-ray, leading to their limitations in capturing structural contents of imaged objects. In this paper, we propose a framework, Structure-Aware X-ray Neural Radiodensity Fields (SAX-NeRF), for sparse-view X-ray 3D reconstruction. Firstly, we design a Line Segment-based Transformer (Lineformer) as the backbone of SAX-NeRF. Linefomer captures internal structures of objects in 3D space by modeling the dependencies within each line segment of an X-ray. Secondly, we present a Masked Local-Global (MLG) ray sampling strategy to extract contextual and geometric information in 2D projection. Plus, we collect a larger-scale dataset X3D covering wider X-ray applications. Experiments on X3D show that SAX-NeRF surpasses previous NeRF-based methods by 12.56 and 2.49 dB on novel view synthesis and CT reconstruction. Code, models, and data are released at https://github.com/caiyuanhao1998/SAX-NeRF