Learning Spectral and Polarimetric Clues for One-to-Multimodal Novel View Synthesis

📄 arXiv: 2607.02372v1 📥 PDF

作者: Federico Lincetto, Gianluca Agresti, Mattia Rossi, Piergiorgio Sartor, Pietro Zanuttigh

分类: cs.CV

发布日期: 2026-07-02

备注: Accepted at ECCV 2026. Project page: https://medialab.dei.unipd.it/paper_data/SPoILeR/

💡 一句话要点

提出SPoILeR以解决多模态新视图合成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态渲染 神经渲染 光谱数据 偏振图像 深度学习

📋 核心要点

  1. 现有方法通常需要昂贵的传感器和复杂的校准设置，限制了多模态渲染的应用。
  2. 本文提出SPoILeR，通过多模态预训练学习模态间的关联，从而在缺乏额外模态数据时进行渲染。
  3. 实验结果显示，SPoILeR能够在没有额外传感器输入的情况下，准确渲染红外和偏振图像，效果显著提升。

📝 摘要（中文）

神经渲染技术能够准确重建3D场景的几何形状和颜色外观。一些方法已扩展到多种成像模态，如多光谱、红外或偏振数据。然而，这些方法通常需要昂贵的传感器和校准设置来捕获每个新场景的多模态帧。本文提出了一种新方法——光谱和偏振隐式学习表示（SPoILeR），旨在在仅有RGB帧或极少额外模态可用的情况下，获得多视图一致的非常规模态渲染。通过多模态预训练阶段，模型学习不同模态之间的相互关联，从而在仅用RGB图像监督的微调阶段预测准确的非常规模态渲染。实验结果表明，该方法能够准确渲染未提供输入样本的红外、偏振和多光谱帧。

🔬 方法详解

问题定义：本文旨在解决在缺乏多模态传感器数据的情况下，如何进行准确的多模态新视图合成的问题。现有方法依赖昂贵的设备和复杂的设置，限制了其应用场景。

核心思路：SPoILeR的核心思路是通过多模态预训练阶段，学习不同模态之间的相互关系，使得在微调阶段仅依赖RGB图像也能生成准确的非常规模态渲染。

技术框架：该方法包括两个主要阶段：首先是多模态预训练，模型在此阶段学习不同模态之间的关联；其次是微调阶段，模型在仅有RGB图像的情况下进行优化，生成目标模态的渲染。

关键创新：SPoILeR的创新之处在于其能够在缺乏额外模态输入的情况下，依然实现高质量的多模态渲染。这一方法突破了传统依赖多模态数据的限制。

关键设计：在模型设计中，采用了特定的损失函数以确保不同模态之间的相互一致性，同时在网络结构上进行了优化，以提高渲染质量和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SPoILeR在红外、偏振和多光谱图像的渲染上表现出色，能够在没有额外传感器输入的情况下，达到与传统方法相媲美的渲染质量，提升幅度显著。

🎯 应用场景

该研究的潜在应用领域包括遥感、环境监测和安全监控等。通过实现高效的多模态渲染，SPoILeR能够在缺乏复杂设备的情况下，提供丰富的场景信息，具有重要的实际价值和未来影响。

📄 摘要（原文）

Neural rendering techniques allow for accurate reconstruction of the geometry and color appearance of 3D scenes. Some methods have extended their use to additional imaging modalities, such as multispectral, infrared, or polarimetric data. However, all of these approaches require expensive sensors and calibrated setups to capture new multimodal frames for each new scene. We propose Spectral and Polarimetric Implicit Learned Representation (SPoILeR), a novel method to obtain multi-view consistent renderings of unconventional modalities for scenes where either only RGB frames or very few of the additional modalities are available. Thanks to a multimodal pre-training phase, the model learns the mutual correlation between different modalities. This step allows predicting accurate renderings of unconventional modalities during a fine-tuning phase supervised only by RGB images. Experimental results show that the approach can accurately render infrared, polarimetric, and multispectral frames for scenes where no input sample captured by these types of sensors is provided.