TOGS: Gaussian Splatting with Temporal Opacity Offset for Real-Time 4D DSA Rendering

📄 arXiv: 2403.19586v2 📥 PDF

作者: Shuai Zhang, Huangxuan Zhao, Zhenghong Zhou, Guanjun Wu, Chuansheng Zheng, Xinggang Wang, Wenyu Liu

分类: cs.CV, cs.GR

发布日期: 2024-03-28 (更新: 2024-09-08)

🔗 代码/项目: GITHUB

💡 一句话要点

提出TOGS以解决4D DSA渲染质量与速度不足的问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 四维数字减影血管造影 高斯点云 透明度偏移 实时渲染 医学成像 稀疏视图 损失函数设计

📋 核心要点

  1. 现有4D DSA渲染方法在稀疏视图下的质量不足，且渲染速度较慢，影响临床应用。
  2. TOGS通过引入时间透明度偏移表和高斯模型，提升了渲染质量和速度，解决了稀疏视图带来的挑战。
  3. 实验结果显示，TOGS在相同训练视图数量下实现了最先进的渲染质量，并支持实时渲染，存储开销低。

📝 摘要（中文）

四维数字减影血管造影（4D DSA）是一种重要的医学成像技术，能够在对比剂充盈血管的不同阶段和角度下提供一系列2D图像。现有方法在稀疏视图下渲染质量不足且速度较慢。为此，本文提出TOGS，一种基于高斯点云的时间透明度偏移方法，显著提升了4D DSA的渲染质量和速度。通过为每个高斯引入透明度偏移表，模型能够有效捕捉对比剂的时间变化，从而在特定时刻渲染2D DSA图像。此外，论文还引入了平滑损失项以减轻稀疏视图场景下的过拟合问题。实验结果表明，TOGS在相同训练视图数量下实现了最先进的渲染质量，并支持实时渲染，且存储开销低。

🔬 方法详解

问题定义：当前的4D DSA渲染方法在稀疏视图下表现出渲染质量不足和速度慢的问题，影响了对病变状态的观察和诊断。

核心思路：本文提出TOGS，通过引入时间透明度偏移表来建模高斯的透明度变化，从而有效捕捉对比剂的时间变化，提升渲染质量和速度。

技术框架：TOGS的整体架构包括高斯模型、透明度偏移表和损失函数设计。模型通过随机修剪高斯来减少存储开销，并在训练过程中使用平滑损失项来防止过拟合。

关键创新：TOGS的核心创新在于引入了时间透明度偏移表，能够动态调整高斯的透明度，显著改善了稀疏视图下的渲染效果，与传统方法相比具有本质的区别。

关键设计：模型设计中，透明度偏移表用于插值高斯在不同时间点的透明度变化；损失函数中加入平滑损失项以降低过拟合风险，同时随机修剪高斯以优化存储效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TOGS在相同训练视图数量下实现了最先进的渲染质量，相较于传统方法，渲染速度显著提升，且存储开销低，展示了其在实时医学成像中的应用潜力。

🎯 应用场景

TOGS在医学成像领域具有广泛的应用潜力，尤其是在脑血管疾病的诊断中。通过提升4D DSA的渲染质量和速度，医生能够更准确地观察病变状态，从而做出更有效的治疗决策。此外，该技术的实时渲染能力也为手术导航和实时监测提供了可能。

📄 摘要（原文）

Four-dimensional Digital Subtraction Angiography (4D DSA) is a medical imaging technique that provides a series of 2D images captured at different stages and angles during the process of contrast agent filling blood vessels. It plays a significant role in the diagnosis of cerebrovascular diseases. Improving the rendering quality and speed under sparse sampling is important for observing the status and location of lesions. The current methods exhibit inadequate rendering quality in sparse views and suffer from slow rendering speed. To overcome these limitations, we propose TOGS, a Gaussian splatting method with opacity offset over time, which can effectively improve the rendering quality and speed of 4D DSA. We introduce an opacity offset table for each Gaussian to model the opacity offsets of the Gaussian, using these opacity-varying Gaussians to model the temporal variations in the radiance of the contrast agent. By interpolating the opacity offset table, the opacity variation of the Gaussian at different time points can be determined. This enables us to render the 2D DSA image at that specific moment. Additionally, we introduced a Smooth loss term in the loss function to mitigate overfitting issues that may arise in the model when dealing with sparse view scenarios. During the training phase, we randomly prune Gaussians, thereby reducing the storage overhead of the model. The experimental results demonstrate that compared to previous methods, this model achieves state-of-the-art render quality under the same number of training views. Additionally, it enables real-time rendering while maintaining low storage overhead. The code is available at https://github.com/hustvl/TOGS.