MicroDiffusion: Implicit Representation-Guided Diffusion for 3D Reconstruction from Limited 2D Microscopy Projections

📄 arXiv: 2403.10815v1 📥 PDF

作者: Mude Hui, Zihao Wei, Hongru Zhu, Fei Xia, Yuyin Zhou

分类: eess.IV, cs.CV

发布日期: 2024-03-16

备注: Accepted by CVPR2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出MicroDiffusion以解决有限2D显微投影下的3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 显微成像 隐式神经表示 去噪扩散模型 深度学习 计算机视觉 生物医学成像

📋 核心要点

  1. 现有的显微成像技术在3D重建中面临深度信息缺失的问题，导致重建结果不够完整。
  2. MicroDiffusion通过结合隐式神经表示和去噪扩散模型，提供了一种新的3D重建方法，利用2D投影生成高质量的3D体积。
  3. 实验结果表明，MicroDiffusion在3D重建的保真度和细节上显著优于传统的INR和DDPM方法，提升幅度明显。

📝 摘要（中文）

体积光学显微镜利用非衍射光束快速成像3D体积，但缺乏重要的深度信息。为此，我们提出了MicroDiffusion，这是一种新颖的工具，能够从有限的2D投影中高质量地重建深度分辨的3D体积。与现有的隐式神经表示（INR）模型常常输出不完整结果不同，我们的方法将INR的结构一致性与去噪扩散概率模型（DDPM）的细节捕捉能力相结合。通过预训练INR模型，将2D轴向投影图像转化为初步的3D体积，并通过线性插值将INR输出与噪声输入结合，丰富了扩散过程中的结构化3D信息，从而提高了局部2D图像的细节和降低了噪声。MicroDiffusion通过对最近的2D投影进行条件化，显著提升了3D重建的保真度，超越了INR和标准DDPM的输出，展现出无与伦比的图像质量和结构保真度。

🔬 方法详解

问题定义：本论文旨在解决从有限的2D显微投影中重建高质量3D体积的问题。现有方法如隐式神经表示（INR）常常输出不完整的结果，而去噪扩散概率模型（DDPM）虽然能够捕捉细节，但缺乏结构一致性。

核心思路：我们的核心思路是将INR的结构一致性与DDPM的细节增强能力相结合。通过预训练INR模型，我们能够将2D投影图像转化为初步的3D体积，并利用这一模型作为全局先验，指导DDPM的生成过程。

技术框架：MicroDiffusion的整体架构包括两个主要模块：预训练的INR模型和去噪扩散模型。首先，INR模型将2D图像转化为3D体积，然后DDPM通过线性插值将INR输出与噪声输入结合，生成最终的3D重建结果。

关键创新：本研究的关键创新在于将INR与DDPM结合，形成了一种新的生成模型，能够在扩散过程中引入结构化的3D信息，从而显著提高重建质量。这一方法与传统的INR和DDPM方法在本质上有所不同，前者往往缺乏细节，后者则缺乏结构一致性。

关键设计：在技术细节上，我们对INR模型进行了预训练，并设计了适当的损失函数以优化生成过程。此外，线性插值的参数设置也经过精心调整，以确保生成的3D体积在细节和结构上都能达到最佳效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MicroDiffusion的3D重建结果在图像质量和结构保真度上显著优于传统的INR和标准DDPM方法，具体提升幅度达到XX%（具体数据未知）。该方法展示了在处理有限2D投影时的强大能力，具有重要的实际应用价值。

🎯 应用场景

MicroDiffusion的研究成果在生物医学成像、材料科学以及其他需要高分辨率3D重建的领域具有广泛的应用潜力。通过提供高质量的3D重建，该技术能够帮助科学家更好地理解复杂的生物结构和材料特性，推动相关领域的研究进展。

📄 摘要（原文）

Volumetric optical microscopy using non-diffracting beams enables rapid imaging of 3D volumes by projecting them axially to 2D images but lacks crucial depth information. Addressing this, we introduce MicroDiffusion, a pioneering tool facilitating high-quality, depth-resolved 3D volume reconstruction from limited 2D projections. While existing Implicit Neural Representation (INR) models often yield incomplete outputs and Denoising Diffusion Probabilistic Models (DDPM) excel at capturing details, our method integrates INR's structural coherence with DDPM's fine-detail enhancement capabilities. We pretrain an INR model to transform 2D axially-projected images into a preliminary 3D volume. This pretrained INR acts as a global prior guiding DDPM's generative process through a linear interpolation between INR outputs and noise inputs. This strategy enriches the diffusion process with structured 3D information, enhancing detail and reducing noise in localized 2D images. By conditioning the diffusion model on the closest 2D projection, MicroDiffusion substantially enhances fidelity in resulting 3D reconstructions, surpassing INR and standard DDPM outputs with unparalleled image quality and structural fidelity. Our code and dataset are available at https://github.com/UCSC-VLAA/MicroDiffusion.