Memory-efficient GPU pipelines for real-time non-line-of-sight reconstruction
作者: Alfonso López-Ruiz, Diego Royo
分类: cs.DC, cs.CV
发布日期: 2026-08-28
💡 一句话要点
提出内存高效的GPU管道以解决实时非视线重建问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 非视线成像 GPU优化 实时处理 内存管理 波动算法 计算机视觉 图像重建
📋 核心要点
- 现有的非视线成像方法在重建过程中面临巨大的内存和计算瓶颈，限制了其实时处理能力。
- 本文提出了一种新的GPU管道，通过优化算法执行和内存管理，显著提升了重建效率。
- 实验结果表明，新的实现比现有流处理管道快42倍，且内存使用量大幅降低，支持更复杂的重建任务。
📝 摘要（中文）
非视线成像（NLOS）通过单光子雪崩二极管（SPAD）记录的间接光重建隐藏在角落后的场景。单次重建是一个庞大的逆问题：需要对数十亿个光子时间戳进行分箱、内存移动、变换和反演。随着SPAD阵列提高采集吞吐量，重建成为限制阶段。本文重建了两种已建立的基于波的算法（f-k迁移和相位场）的GPU执行，适用于流处理和离线处理。我们通过一次性离线组装环和半径内核，利用环的解析傅里叶变换，避免在运行时以密集形式存在传播内核，从而减少内存和带宽。我们的实现比参考流管道快42倍，比最快的已发布GPU基线快14倍，同时内存使用量降至2.5%，使得在相同硬件上能够进行更大更精细的重建，或在更低内存预算下实现相当的重建。我们报告了每个实现选择的消融实验，并提出了三种去噪策略，以支持下一代NLOS视频处理。
🔬 方法详解
问题定义：本文旨在解决非视线成像中的重建效率问题，现有方法在处理大量光子时间戳时面临内存和计算瓶颈，限制了实时应用的可能性。
核心思路：通过重构GPU执行的两种波动算法，优化内存使用和计算流程，避免在运行时生成大型传播内核，从而提高重建速度和效率。
技术框架：整体架构包括流处理和离线处理两种模式，采用融合内核、warp级光子分箱、批处理变换、CUDA图重放和FP16存储等技术，形成高效的处理管道。
关键创新：最重要的创新在于通过一次性离线组装环和半径内核，避免了在运行时的内存占用，同时通过优化算法执行流程大幅提升了重建速度。
关键设计：在实现中，采用了多种技术细节，如融合内核设计、warp级处理和FP16存储，仅在实际瓶颈处应用，确保了内存使用的高效性。通过这些设计，重建过程的内存占用降至2.5%。
🖼️ 关键图片
📊 实验亮点
实验结果显示，新的GPU管道实现比参考流处理管道快42倍，比最快的已发布GPU基线快14倍，内存使用量降至2.5%。这些结果表明，该方法在处理速度和内存效率上具有显著优势，能够支持更复杂的重建任务。
🎯 应用场景
该研究的潜在应用领域包括机器人视觉、自动驾驶、虚拟现实和增强现实等。通过提高非视线成像的实时处理能力，可以在复杂环境中实现更高效的场景重建，推动相关技术的发展与应用。
📄 摘要（原文）
Non-line-of-sight (NLOS) imaging reconstructs scenes hidden around a corner from indirect light recorded by a single-photon avalanche diode (SPAD). A single reconstruction is a large inverse problem: billions of photon timestamps must be binned, moved through memory, transformed and inverted. As SPAD arrays raise acquisition throughput, reconstruction becomes the limiting stage. We rebuild the GPU execution of two established wave-based algorithms, f-k migration and phasor-fields, for both streaming and offline processing. On the phasor-fields side we assemble the ring-and-radius kernels of previous work once and offline, using the analytic Fourier transform of a ring, so the propagation kernel never exists in dense form at runtime, reducing the memory and bandwidth. We reorganize the pipeline of both algorithms with fused kernels, warp-level photon binning, batched transforms, CUDA graph replay, and FP16 storage applied only where it reduces the actual bottleneck. Our implementations are up to 42x faster than the reference streaming pipeline and up to 14x faster than the fastest published GPU baseline, all while using a fraction of the memory (down to 2.5%), enabling vastly larger and finer reconstructions on the same hardware, or comparable ones within a much lower memory budget. We report an ablation of each implementation choice and propose three denoising strategies enabled by the resulting frame budget for next-generation NLOS video processing.