Exploring Multi-modal Neural Scene Representations With Applications on Thermal Imaging

📄 arXiv: 2403.11865v2 📥 PDF

作者: Mert Özer, Maximilian Weiherer, Martin Hundhausen, Bernhard Egger

分类: cs.CV, cs.AI, cs.GR

发布日期: 2024-03-18 (更新: 2024-08-23)

备注: Accepted to ECCVW'24

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出多模态神经场景表示以解决热成像合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多模态学习 神经辐射场 热成像 视图合成 数据集构建 跨模态校准 深度学习

📋 核心要点

  1. 现有的神经场景表示方法在处理多模态数据时面临挑战，尤其是RGB与热成像之间的辐射差异。
  2. 论文提出四种策略将热成像作为第二模态融入NeRF，包括独立训练、预训练与微调、添加第二分支和独立组件预测。
  3. 实验结果显示，添加第二分支的策略在热成像的视图合成中表现最佳，同时在RGB图像上也取得了令人满意的结果。

📝 摘要（中文）

神经辐射场（NeRF）迅速成为新兴的视图合成标准，尤其是在RGB图像集上训练时。本文全面评估了神经场景表示在多模态学习中的表现，提出了四种将第二种模态（热成像）融入NeRF的方法。通过捕获新的公开多视图数据集ThermalMix，研究发现为NeRF添加第二分支在热成像的视图合成中表现最佳，同时在RGB图像上也取得了良好效果。研究结果表明，该分析可以推广到其他模态，如近红外图像和深度图。

🔬 方法详解

问题定义：本文旨在解决如何将热成像有效融入神经辐射场（NeRF）中，以实现高质量的视图合成。现有方法在处理RGB与热成像的辐射特性差异时存在困难，导致合成效果不佳。

核心思路：论文提出了四种不同的策略来整合热成像作为第二模态，旨在通过不同的训练方式提升NeRF在多模态环境下的表现。通过对比不同策略的效果，找出最佳方案。

技术框架：整体架构包括数据采集、跨模态校准、模型训练和评估四个主要阶段。数据采集阶段使用新构建的ThermalMix数据集，跨模态校准确保RGB与热成像图像的高质量对齐。

关键创新：最重要的创新在于提出了为NeRF添加第二分支的策略，该方法在热成像视图合成中表现出色，显著提升了合成质量，与传统方法相比具有明显优势。

关键设计：在模型设计中，采用了特定的损失函数来优化不同模态之间的融合效果，并在网络结构中引入了第二分支以处理热成像数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，添加第二分支的NeRF在热成像视图合成中表现最佳，相较于其他策略，合成质量显著提升，尤其在RGB图像上也取得了良好的效果。具体性能数据未提供，需查阅原文以获取详细信息。

🎯 应用场景

该研究的潜在应用领域包括智能监控、无人驾驶、医疗成像等。通过有效融合热成像与RGB图像，能够在复杂环境中提供更为准确的场景理解，提升自动化系统的决策能力和安全性。

📄 摘要（原文）

Neural Radiance Fields (NeRFs) quickly evolved as the new de-facto standard for the task of novel view synthesis when trained on a set of RGB images. In this paper, we conduct a comprehensive evaluation of neural scene representations, such as NeRFs, in the context of multi-modal learning. Specifically, we present four different strategies of how to incorporate a second modality, other than RGB, into NeRFs: (1) training from scratch independently on both modalities; (2) pre-training on RGB and fine-tuning on the second modality; (3) adding a second branch; and (4) adding a separate component to predict (color) values of the additional modality. We chose thermal imaging as second modality since it strongly differs from RGB in terms of radiosity, making it challenging to integrate into neural scene representations. For the evaluation of the proposed strategies, we captured a new publicly available multi-view dataset, ThermalMix, consisting of six common objects and about 360 RGB and thermal images in total. We employ cross-modality calibration prior to data capturing, leading to high-quality alignments between RGB and thermal images. Our findings reveal that adding a second branch to NeRF performs best for novel view synthesis on thermal images while also yielding compelling results on RGB. Finally, we also show that our analysis generalizes to other modalities, including near-infrared images and depth maps. Project page: https://mert-o.github.io/ThermalNeRF/.