Cross-Spectral Dense Correspondence for Multimodal Spectral Medical Imaging
作者: Eric L. Wisotzky, Jost Triller, Simon W. Härtl, Oliver T. Bruns, Peter Eisert, Anna Hilsmann
分类: cs.CV, cs.AI
发布日期: 2026-08-28
备注: Accepted at 2nd Data Curation & Augmentation in Medical Imaging Workshop at ECCV 2026
💡 一句话要点
提出跨光谱密集对应方法以解决多模态医学成像问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 跨光谱对应 多模态成像 医学成像 数据增强 光谱融合
📋 核心要点
- 现有多模态光谱成像方法在处理光谱敏感性不重叠的图像时，面临着对比度变化和强度反转等挑战，导致密集对应难以实现。
- 本文提出了一种传感器无关的跨光谱调制协议，并设计了合成的跨光谱对应基准，以解决数据不足的问题。
- 实验结果表明，采用统一的跨光谱协议训练的模型在光谱不匹配情况下显著提升了性能，同时在标准RGB基准上保持了良好的表现。
📝 摘要（中文）
精确的密集对应是多模态光谱成像系统的基本前提，这些系统融合了不同波长范围的图像以进行后续分析。由于对应图像点的光谱敏感性不重叠，导致波长依赖的对比度变化、强度反转和外观变化，使得密集的真实数据难以获取，而传统的基于RGB的训练数据提供的监督信息有限。为此，本文提出了一种传感器无关的跨光谱调制协议，并在现有的对应基准上进行了验证，同时提出了一种合成的跨光谱对应基准，模拟物理上合理的辐射差异。通过在多个现代密集对应骨干网络上进行评估，显示在严重的光谱不匹配下有显著提升，同时在标准RGB基准上保持性能。消融实验表明，视角依赖的通道选择和非线性辐射变换提供了互补的鲁棒性，表明现有模型的主要限制并非结构匹配能力，而是训练分布与目标图像对的光谱特征之间的不匹配。
🔬 方法详解
问题定义：本文旨在解决多模态光谱成像中，由于光谱敏感性不重叠导致的密集对应问题。现有方法在处理波长依赖的对比度变化和强度反转时，缺乏有效的训练数据，限制了模型的性能。
核心思路：论文提出了一种传感器无关的跨光谱调制协议，结合合成的跨光谱对应基准，旨在通过模拟物理上合理的辐射差异来填补数据空白，从而提升模型在光谱不匹配情况下的表现。
技术框架：整体架构包括跨光谱调制协议和合成的对应基准。首先，通过调制协议生成多样化的训练数据，然后在多个现代密集对应骨干网络上进行训练和评估。
关键创新：最重要的创新在于提出了一种新的训练数据增强方法，能够有效应对光谱不匹配问题，且与传统的RGB训练方法相比，提供了更强的鲁棒性。
关键设计：在模型设计中，采用了视角依赖的通道选择和非线性辐射变换，这些设计使得模型在面对不同光谱特征时，能够保持较高的匹配性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用统一的跨光谱协议训练的模型在严重光谱不匹配情况下，相较于传统方法性能提升显著，具体提升幅度达到XX%（具体数据未知），同时在标准RGB基准上保持了良好的表现，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括医学成像、科学成像以及任何需要融合不同光谱信息的场景。通过提升多模态成像系统的性能，能够为临床诊断和科学研究提供更为精确的图像分析工具，推动相关领域的发展。
📄 摘要（原文）
Precise dense correspondence is a fundamental prerequisite for multimodal spectral imaging systems that fuse disparate wavelength ranges for subsequent analysis in medical and scientific imaging. Corresponding image points are often observed with non-overlapping spectral sensitivities, leading to wavelength-dependent contrast changes, intensity inversions, and appearance shifts for which dense ground truth is difficult to obtain and conventional RGB-based training data provides only limited supervision. We address this data gap by introducing a sensor-agnostic cross-spectral modulation protocol on established correspondence benchmarks with intensity input projection, and by proposing a synthetic cross-spectral correspondence benchmark simulating physically plausible radiometric differences. Evaluation on several modern dense correspondence backbones trained with our unified cross-spectral protocol showed substantial improvements under severe spectral mismatch while maintaining performance on standard RGB benchmarks. Ablation experiments show that view-dependent channel selection and nonlinear radiometric transformations provide complementary robustness, indicating that the primary limitation of existing models is not their structural matching capacity but the mismatch between training distribution and spectral characteristics of the target image pair. Qualitative evaluations on heterogeneous medical spectral acquisition systems demonstrate the practical relevance of the proposed training data augmentation protocol as an enabler for spatially coherent spectral fusion in HSI workflows.