Differentiable Voronoi Ray Tracing Beyond Rasterization Speeds

📄 arXiv: 2608.17682v1 📥 PDF

作者: Bernardo Taveira, Carl Lindström, Joakim Johnander, Fredrik Kahl

分类: cs.CV

发布日期: 2026-08-18

💡 一句话要点

提出VoroTracing以解决实时光线追踪性能瓶颈问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 光线追踪 实时渲染 Voronoi GPU优化 场景表示 计算机视觉 深度学习

📋 核心要点

  1. 现有的光栅化方法在处理非针孔效果时存在性能瓶颈，难以满足实时渲染的需求。
  2. VoroTracing通过优化场景表示和GPU执行，降低光线追踪中的遍历长度和内存流量，提升渲染效率。
  3. 在Mip-NeRF 360数据集上，VoroTracing以623 FPS的速度渲染，显著提高了吞吐量和重建质量。

📝 摘要（中文）

实时新视角合成主要依赖于光栅化显式原语，这些投影基础的管道虽然具有高吞吐量，但在处理非针孔效应（如失真、滚动快门和景深）时需要专门的扩展。光线追踪自然表达这些效果，但通常被认为速度过慢，无法与实时渲染竞争。本文分析了影响可微Voronoi光线追踪吞吐量的因素，提出VoroTracing，通过共同设计场景表示、优化和GPU执行来降低这些成本。实验结果显示，VoroTracing在RTX 5090上以623 FPS的速度渲染，吞吐量是现有最快光线基础方法的3.2倍，同时保持竞争力的重建质量。

🔬 方法详解

问题定义：本文旨在解决实时光线追踪在吞吐量方面的不足，尤其是在处理复杂场景时的性能瓶颈。现有方法多依赖光栅化，难以自然处理非针孔效果。

核心思路：VoroTracing通过共同设计场景表示、优化和GPU执行，旨在减少光线追踪中的遍历长度和内存流量，从而提升实时渲染性能。

技术框架：该方法包括几个主要模块：场景表示采用紧凑的八面体外观纹理，优化过程通过固定预算表示来减少内存消耗，GPU执行则针对一致性遍历进行优化。

关键创新：VoroTracing的核心创新在于其固定预算表示的优化方式，避免了传统方法中的修剪或密集化过程，显著提升了渲染效率。

关键设计：在设计中，采用了紧凑的八面体外观纹理以减少内存流量，同时通过表面集中不透明度促进早期终止，确保高效的光线追踪过程。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VoroTracing在Mip-NeRF 360数据集上以623 FPS的速度渲染，吞吐量是现有最快光线基础方法的3.2倍，且比3D高斯点云渲染快2.8倍，同时保持了竞争力的重建质量，展示了光线追踪在实时渲染中的潜力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发以及电影特效制作等需要实时渲染的场景。VoroTracing的高效性能使其能够在复杂场景中实现更真实的视觉效果，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Real-time novel view synthesis is dominated by rasterized explicit primitives. These projection-based pipelines provide high throughput but require specialized extensions for non-pinhole effects such as distortion, rolling shutter, and depth of field. Ray-based rendering expresses these effects naturally but is generally assumed too slow for competitive real-time rendering. We analyze the factors governing throughput in differentiable Voronoi ray tracing and identify traversal length, per-cell work, and memory locality as principal determinants. Guided by this, we introduce VoroTracing, which co-designs the scene representation, optimization, and GPU execution to reduce these costs. Compact octahedral appearance textures reduce memory traffic, while surface-concentrated opacity promotes early termination. The fixed-budget representation is optimized without pruning or densification and rendered with a GPU implementation designed for coherent traversal. On Mip-NeRF 360, VoroTracing renders at 623 FPS on an RTX 5090, providing $3.2\times$ the throughput of the fastest prior ray-based method and $2.8\times$ that of 3D Gaussian Splatting, while maintaining competitive reconstruction quality. Our renderer supports fisheye, rolling-shutter, motion-blur, and depth-of-field effects through ray generation and sampling, requiring no specialized rasterization. These results show that real-time throughput can be achieved with the flexibility of ray-based rendering. We release our source code, see https://research.zenseact.com/publications/vorotracing