ThermoNeRF: Joint RGB and Thermal Novel View Synthesis for Building Facades using Multimodal Neural Radiance Fields

📄 arXiv: 2403.12154v2 📥 PDF

作者: Mariam Hassan, Florent Forest, Olga Fink, Malcolm Mielle

分类: cs.CV

发布日期: 2024-03-18 (更新: 2024-11-29)

💡 一句话要点

提出ThermoNeRF以解决建筑外立面RGB与热图像合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 热场景重建 多模态神经辐射场 RGB与热图像 温度估计 建筑能耗分析 无损检测 数据集构建

📋 核心要点

  1. 现有方法通常依赖RGB图像进行3D几何重建，导致重建几何与热数据之间的不一致性。
  2. ThermoNeRF通过联合渲染RGB和热视图，利用RGB和热图像对学习场景密度，独立网络估计颜色和温度。
  3. 实验结果显示，ThermoNeRF在温度估计上显著提升，平均绝对误差分别为1.13°C和0.41°C，提升超过50%。

📝 摘要（中文）

热场景重建在建筑能耗分析和无损基础设施检测等应用中具有重要潜力。然而，现有方法通常依赖于RGB图像进行3D几何重建，并在重建后投影热信息，这可能导致重建几何与温度数据之间的不一致。为了解决这一挑战，本文提出了ThermoNeRF，这是一种基于神经辐射场的多模态方法，能够联合渲染场景的新RGB和热视图。同时，本文还构建了ThermoScenes数据集，包含8个建筑外立面和8个日常物体的RGB+热图像对。ThermoNeRF通过学习RGB和热图像对的场景密度来解决热图像缺乏纹理的问题，而独立网络则用于估计颜色和温度数据。实验结果表明，ThermoNeRF在建筑和其他场景的温度估计中分别实现了1.13°C和0.41°C的平均绝对误差，相较于使用标准NeRF的RGB+热数据输入，提升超过50%。代码和数据集已在线发布。

🔬 方法详解

问题定义：本文旨在解决现有热场景重建方法中，RGB图像与热数据之间不一致的问题。现有方法通常在重建后投影热信息，导致温度估计不准确。

核心思路：ThermoNeRF通过联合渲染RGB和热视图，利用多模态神经辐射场，直接在重建过程中考虑温度信息，从而提高温度估计的准确性。

技术框架：整体架构包括两个主要模块：一是通过RGB和热图像对学习场景密度，二是独立网络分别估计颜色和温度数据。该框架能够有效整合多模态信息，提升重建质量。

关键创新：最重要的创新在于ThermoNeRF能够同时处理RGB和热图像，直接在重建过程中进行温度估计，而不是在重建后进行信息投影。这一设计显著提高了温度估计的准确性。

关键设计：在网络结构上，ThermoNeRF采用了独立的网络来处理颜色和温度数据，损失函数则设计为同时考虑RGB和热图像的重建误差，确保模型在训练过程中能够有效学习两种模态的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ThermoNeRF在建筑和其他场景的温度估计中分别实现了1.13°C和0.41°C的平均绝对误差，相较于标准NeRF方法，提升超过50%。这一显著的性能提升展示了ThermoNeRF在多模态场景重建中的有效性。

🎯 应用场景

该研究在建筑能耗分析、无损检测和智能建筑管理等领域具有广泛的应用潜力。通过准确的温度估计，ThermoNeRF可以帮助工程师和建筑师更好地评估建筑物的能效和结构健康，推动智能建筑技术的发展。

📄 摘要（原文）

Thermal scene reconstruction holds great potential for various applications, such as analyzing building energy consumption and performing non-destructive infrastructure testing. However, existing methods typically require dense scene measurements and often rely on RGB images for 3D geometry reconstruction, projecting thermal information post-reconstruction. This can lead to inconsistencies between the reconstructed geometry and temperature data and their actual values. To address this challenge, we propose ThermoNeRF, a novel multimodal approach based on Neural Radiance Fields that jointly renders new RGB and thermal views of a scene, and ThermoScenes, a dataset of paired RGB+thermal images comprising 8 scenes of building facades and 8 scenes of everyday objects. To address the lack of texture in thermal images, ThermoNeRF uses paired RGB and thermal images to learn scene density, while separate networks estimate color and temperature data. Unlike comparable studies, our focus is on temperature reconstruction and experimental results demonstrate that ThermoNeRF achieves an average mean absolute error of 1.13C and 0.41C for temperature estimation in buildings and other scenes, respectively, representing an improvement of over 50% compared to using concatenated RGB+thermal data as input to a standard NeRF. Code and dataset are available online.