Gaussians on Fire: High-Frequency Reconstruction of Flames

📄 arXiv: 2511.22459v1 📥 PDF

作者: Jakob Nazarenus, Dominik Michels, Wojtek Palubicki, Simin Kou, Fang-Lue Zhang, Soren Pirk, Reinhard Koch

分类: cs.CV

发布日期: 2025-11-27

备注: 18 pages, 9 figures

💡 一句话要点

提出基于高斯分布的时空表示方法，用于从有限视角重建火焰高频动态。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 火焰重建 三维重建 高斯分布 光流估计 多视角立体视觉 硬件同步 动态场景重建

📋 核心要点

  1. 火焰重建因其动态性、透明性和高频特征而极具挑战，现有方法难以在有限视角下捕捉火焰细节。
  2. 该方法通过结合多视角立体视觉和单目深度先验分离背景与火焰，并使用3D高斯分布编码火焰的生命周期和速度。
  3. 实验结果表明，该方法能够使用少量相机，在各种真实火焰场景中实现鲁棒的高频火焰重建。

📝 摘要（中文）

本文提出了一种基于高斯分布的时空表示方法，用于从有限的相机视角重建动态火焰的3D结构。由于火焰的易变性、透明性以及大量高频特征，捕捉和重建火焰及其动态极具挑战性。尽管如此，我们的目标是从仅有的三个视角重建火焰，这需要解决欠约束的几何问题。我们通过结合密集的多视角立体图像和单目深度先验，将静态背景与动态火焰区域分离。火焰被初始化为一个3D流场，该流场通过融合每个视角的密集光流投影获得。为了捕捉火焰的高频特征，每个3D高斯分布编码了一个生命周期和线性速度，以匹配密集光流。为了确保跨相机亚帧时间对齐，我们采用了一种定制的硬件同步模式，从而能够使用经济实用的商用硬件重建火焰。通过大量的重建实验，我们的定量和定性验证表明，该方法在各种具有挑战性的真实火焰场景中具有鲁棒的性能。

🔬 方法详解

问题定义：论文旨在解决从有限数量的相机视角（仅三个视角）重建动态火焰的3D结构这一难题。现有方法难以在如此稀疏的视角下捕捉火焰的高频细节和动态特性，导致重建结果模糊或失真。火焰的透明性和快速变化也使得传统的基于几何的方法难以应用。

核心思路：论文的核心思路是将火焰建模为一系列具有生命周期和速度的3D高斯分布。通过融合多视角的光流信息来初始化这些高斯分布，并利用硬件同步来确保跨相机的时间对齐。这种方法能够有效地捕捉火焰的高频动态，并解决欠约束的几何重建问题。

技术框架：整体框架包含以下几个主要阶段：1) 使用多视角立体视觉和单目深度先验分离静态背景和动态火焰区域；2) 通过融合每个视角的密集光流投影初始化3D流场，作为火焰的初始表示；3) 使用3D高斯分布来表示火焰，每个高斯分布编码生命周期和线性速度；4) 通过硬件同步确保跨相机亚帧时间对齐，提高重建精度。

关键创新：最重要的技术创新点在于使用具有生命周期和速度的3D高斯分布来表示火焰。这种表示方法能够有效地捕捉火焰的高频动态，并允许在有限视角下进行鲁棒的重建。此外，定制的硬件同步模式也是一个关键创新，它确保了跨相机的时间对齐，提高了重建精度。

关键设计：论文中关键的设计包括：1) 使用多视角立体视觉和单目深度先验进行背景分离，减少了重建的复杂性；2) 使用密集光流来初始化3D流场，为高斯分布的初始化提供了良好的先验信息；3) 通过硬件同步来确保跨相机的时间对齐，减少了时间上的误差；4) 高斯分布的生命周期和速度参数的设计，使得能够更好地捕捉火焰的动态特性。

📊 实验亮点

实验结果表明，该方法能够从仅三个视角重建出高质量的火焰动态。通过定量和定性评估，验证了该方法在各种具有挑战性的真实火焰场景中的鲁棒性。与现有方法相比，该方法能够更好地捕捉火焰的高频细节，并减少重建误差。定制的硬件同步模式显著提高了重建精度。

🎯 应用场景

该研究成果可应用于火灾模拟、虚拟现实、电影特效等领域。通过高质量的火焰重建，可以提高火灾模拟的真实感，为消防安全提供更准确的预测。在虚拟现实和电影特效中，可以创建更逼真的火焰效果，增强用户的沉浸式体验。此外，该技术还可能扩展到其他动态透明物体的重建，例如烟雾和爆炸。

📄 摘要（原文）

We propose a method to reconstruct dynamic fire in 3D from a limited set of camera views with a Gaussian-based spatiotemporal representation. Capturing and reconstructing fire and its dynamics is highly challenging due to its volatile nature, transparent quality, and multitude of high-frequency features. Despite these challenges, we aim to reconstruct fire from only three views, which consequently requires solving for under-constrained geometry. We solve this by separating the static background from the dynamic fire region by combining dense multi-view stereo images with monocular depth priors. The fire is initialized as a 3D flow field, obtained by fusing per-view dense optical flow projections. To capture the high frequency features of fire, each 3D Gaussian encodes a lifetime and linear velocity to match the dense optical flow. To ensure sub-frame temporal alignment across cameras we employ a custom hardware synchronization pattern -- allowing us to reconstruct fire with affordable commodity hardware. Our quantitative and qualitative validations across numerous reconstruction experiments demonstrate robust performance for diverse and challenging real fire scenarios.