Learning Spectral and Polarimetric Clues for One-to-Multimodal Novel View Synthesis

📄 arXiv: 2607.02372 📥 PDF

作者: Federico Lincetto, Gianluca Agresti, Mattia Rossi, Piergiorgio Sartor, Pietro Zanuttigh

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出SPoILeR以解决多模态新视图合成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态渲染 神经渲染 光谱成像 偏振成像 深度学习

📋 核心要点

  1. 现有多模态渲染方法依赖昂贵的传感器和复杂的校准设置，限制了其应用范围。
  2. SPoILeR通过多模态预训练学习模态间的关联性，从而在仅有RGB图像的情况下生成准确的多模态渲染。
  3. 实验结果显示，SPoILeR在没有额外模态输入的情况下，能够有效渲染红外、偏振和多光谱图像，表现优异。

📝 摘要（中文）

神经渲染技术能够准确重建3D场景的几何形状和颜色外观。一些方法已扩展到多种成像模态，如多光谱、红外或偏振数据。然而，这些方法通常需要昂贵的传感器和校准设置，以捕获每个新场景的多模态帧。本文提出了一种新方法——光谱和偏振隐式学习表示（SPoILeR），旨在为仅有RGB帧或极少额外模态可用的场景生成多视图一致的渲染。通过多模态预训练阶段，模型学习不同模态之间的相互关联，从而在仅用RGB图像监督的微调阶段，准确预测非常规模态的渲染。实验结果表明，该方法能够准确渲染红外、偏振和多光谱帧，即使没有由这些传感器捕获的输入样本。

🔬 方法详解

问题定义：现有的多模态渲染方法需要昂贵的传感器和复杂的设置，限制了其在实际应用中的灵活性和可行性。本文旨在解决在仅有RGB图像的情况下，如何生成多模态渲染的问题。

核心思路：SPoILeR的核心思路是通过多模态预训练阶段，学习不同模态之间的相互关系，从而在微调阶段仅依赖RGB图像进行准确的多模态渲染。这样的设计使得模型能够在缺乏额外模态输入的情况下，依然生成高质量的渲染结果。

技术框架：该方法的整体架构包括两个主要阶段：首先是多模态预训练阶段，模型通过多种模态数据学习模态间的关联；其次是微调阶段，模型在仅有RGB图像的监督下进行优化，生成目标模态的渲染。

关键创新：SPoILeR的关键创新在于其多模态预训练策略，使得模型能够在缺乏特定模态输入的情况下，依然实现高质量的渲染。这与传统方法依赖于完整的模态输入形成鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数来优化模态间的相似性，并通过网络结构的调整来增强模型对不同模态的适应能力。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SPoILeR在没有额外模态输入的情况下，能够准确渲染红外、偏振和多光谱图像。与基线方法相比，渲染质量显著提升，具体性能数据在实验部分进行了详细比较，展示了该方法的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括遥感、医学成像和自动驾驶等领域。在这些领域中，能够在缺乏特定传感器数据的情况下生成高质量的多模态图像，将极大提升数据获取的灵活性和效率，推动相关技术的发展。

📄 摘要（原文）

Neural rendering techniques allow for accurate reconstruction of the geometry and color appearance of 3D scenes. Some methods have extended their use to additional imaging modalities, such as multispectral, infrared, or polarimetric data. However, all of these approaches require expensive sensors and calibrated setups to capture new multimodal frames for each new scene. We propose Spectral and Polarimetric Implicit Learned Representation (SPoILeR), a novel method to obtain multi-view consistent renderings of unconventional modalities for scenes where either only RGB frames or very few of the additional modalities are available. Thanks to a multimodal pre-training phase, the model learns the mutual correlation between different modalities. This step allows predicting accurate renderings of unconventional modalities during a fine-tuning phase supervised only by RGB images. Experimental results show that the approach can accurately render infrared, polarimetric, and multispectral frames for scenes where no input sample captured by these types of sensors is provided.