CTBakeGS: training-free baking of photorealistic CT volume renderings into 3D Gaussian splats

📄 arXiv: 2610.37406v1 📥 PDF

作者: Haruki Fukuda, Constantin Lux, Wolf Schweitzer, Tadashi Hosoya, Lars Ebert

分类: cs.CV, cs.GR

发布日期: 2026-10-27

备注: Code and project page: https://github.com/BocchiSlice/CTBakeGS

💡 一句话要点

提出CTBakeGS以解决CT体积渲染训练时间长的问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: CT体积渲染 三维高斯点云 实时渲染 医学影像 无训练转换 自适应八叉树 图形处理器

📋 核心要点

  1. 现有的CT体积渲染方法需要长时间的训练，限制了其在实时应用中的可行性。
  2. 本文提出了一种无训练的转换方法，将CT体积渲染直接转化为3D高斯点云模型，显著提高了效率。
  3. 实验结果表明，转换后的模型在多个CT扫描中达到了良好的信噪比，且在普通电脑上可实现实时渲染。

📝 摘要（中文）

计算机断层扫描（CT）的逼真体积渲染能够直观地传达解剖结构，但需要CT数据、专用软件和强大的图形处理器。三维高斯点云（3DGS）能够在较弱设备上实时显示逼真场景，但现有医学方法需要数分钟到数小时的训练。本文旨在无训练地将CT体积渲染直接转换为3DGS模型。通过在自适应八叉树上放置点云，利用图形处理器计算颜色和不透明度，并通过分析方法将单元的不透明度转换为点云的不透明度。实验结果显示，转换过程在普通电脑上可在一分钟内完成，且具有足够的交互查看保真度。

🔬 方法详解

问题定义：本文解决了现有CT体积渲染方法需要长时间训练的问题，限制了其在实时应用中的使用。

核心思路：通过无训练的方式，将CT体积渲染直接转换为3D高斯点云模型，利用自适应八叉树结构来优化点云的存储和渲染效率。

技术框架：整体流程包括CT数据的输入、点云的生成、颜色和不透明度的计算，以及最终的3DGS模型渲染。主要模块包括数据转换、点云生成和实时渲染。

关键创新：本研究的核心创新在于无训练的转换过程，避免了传统方法的高计算成本，实现了实时渲染的可能性。

关键设计：在设计中，采用了自适应八叉树结构来存储点云，颜色和不透明度的计算通过图形处理器实现，并且在不透明度的处理上引入了随机保留机制，以提高渲染质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，转换后的两百万点云模型在骨骼、增强血管和皮肤的信噪比（PSNR）分别达到了32.6 ± 0.9 dB、30.1 ± 1.0 dB和32.3 ± 1.5 dB。转换过程在普通笔记本电脑上通常只需4-30秒，且在800 x 800像素的分辨率下可实现68帧每秒的实时渲染。

🎯 应用场景

该研究的潜在应用领域包括医学影像学、虚拟现实和增强现实等。通过快速生成高质量的CT体积渲染，能够为医生提供更直观的解剖结构展示，提升医疗决策的效率。同时，该技术也可应用于教育和培训领域，帮助学生更好地理解复杂的生物结构。

📄 摘要（原文）

Photorealistic volume rendering of computed tomography (CT) may convey anatomy intuitively, but it needs the CT data, dedicated software and a powerful graphics processor. Three-dimensional Gaussian splatting (3DGS) displays photorealistic scenes in real time on less powerful devices, but existing medical approaches train each scene for minutes to hours. We aimed to convert a CT volume rendering directly into a 3DGS model without training. Splats were placed on an adaptive octree of millimetre-sized cells. Their colour and opacity were computed on the graphics processor with the renderer's lighting, cell opacity was converted analytically into splat opacity, and faint splats were retained stochastically above the 1/255 opacity floor of standard 3DGS rasterisers. Six public CT scans (1.5-mm voxels) were converted with three transfer functions and compared with converged references by peak signal-to-noise ratio (PSNR), structural similarity and a learned perceptual metric. Two-million-splat models reached a PSNR of 32.6 +/- 0.9 dB for bone, 30.1 +/- 1.0 dB for contrast-enhanced vessels and 32.3 +/- 1.5 dB for skin and bone. A conversion pass (usually two or three per model) took 4-30 s on a current laptop and 9-60 s on a desktop with a 4-GB graphics card. On the laptop, the models rendered at 68 frames per second at 800 x 800 pixels. Training-free conversion produced real-time 3DGS models of photorealistic CT renderings in about a minute or less per conversion pass on ordinary computers, with fidelity that we consider sufficient for interactive viewing.