EPOFusion: Exposure aware Progressive Optimization Method for Infrared and Visible Image Fusion

📄 arXiv: 2603.16130 📥 PDF

作者: Zhiwei Wang, Defeng He, Li Zhao, Xiaoqin Zhang, Yuxing Li, Edmund Y. Lam

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出EPOFusion以解决可见光图像过曝问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 红外图像处理 可见光图像融合 多模态融合 曝光感知 视觉一致性 信息保留 深度学习

📋 核心要点

  1. 现有的图像融合方法在处理过曝区域时，无法有效利用红外信息，导致信息丢失和视觉质量下降。
  2. EPOFusion通过空间引导模块和多尺度上下文融合模块，针对过曝区域进行优化，提升红外信息的保留和融合效果。
  3. 在多个基准数据集上，EPOFusion展示了显著的性能提升，平均互信息增益达到28.7%，有效改善了过曝条件下的图像质量。

📝 摘要（中文）

在强光和迎面车灯的影响下，可见光传感器常常出现过曝现象，导致重要信息丢失。红外与可见光图像融合能够通过多模态互补来弥补这种退化。然而，大多数融合方法缺乏对过曝区域的区域感知优化，无法有效利用饱和区域的红外线线索。为此，本文提出了EPOFusion，一个基于曝光感知的融合框架。该框架通过空间引导模块选择性地保留过曝区域中的红外信息，并通过多尺度上下文融合模块的迭代解码头逐步优化融合表示，从而在退化区域实现有效的红外补偿，同时在正常区域保持视觉一致性。实验结果表明，EPOFusion在信息保留和视觉保真度方面显著提升，平均全图互信息增益达到28.7%。

🔬 方法详解

问题定义：本文旨在解决可见光图像在强光条件下的过曝问题，现有方法在处理过曝区域时缺乏有效的红外信息利用，导致信息丢失和视觉质量下降。

核心思路：EPOFusion的核心思路是通过空间引导模块选择性地保留过曝区域中的红外信息，并利用多尺度上下文融合模块逐步优化融合结果，以实现有效的红外补偿和视觉一致性。

技术框架：EPOFusion的整体架构包括空间引导模块和迭代解码头，后者配备多尺度上下文融合模块。该框架通过逐步解码和优化，提升融合图像的质量。

关键创新：EPOFusion的主要创新在于其曝光感知的设计，能够针对过曝区域进行区域感知优化，与传统方法相比，显著提升了红外信息的保留和融合效果。

关键设计：在技术细节上，EPOFusion采用了特定的损失函数来平衡红外信息的保留与视觉一致性，同时在网络结构中引入了多尺度上下文融合模块，以增强对不同尺度信息的处理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EPOFusion在多个数据集上的实验结果显示，平均全图互信息增益达到28.7%，显著优于现有最佳方法。定性结果表明，在饱和区域的补偿效果显著，且在挑战性过曝条件下的下游评估进一步确认了其优势。

🎯 应用场景

EPOFusion的研究成果在多个领域具有潜在应用价值，包括智能监控、自动驾驶、无人机图像处理等。在这些应用场景中，能够有效处理复杂光照条件下的图像融合问题，提高视觉感知的准确性和可靠性，未来可能推动相关技术的发展与应用。

📄 摘要（原文）

Overexposure caused by strong daylight and oncoming headlights frequently overwhelms visible sensors, resulting in critical information loss in visual perception. Infrared and visible image fusion can compensate for such degradation via multimodal complementarity. However, most fusion methods lack region-aware optimization for overexposed areas and cannot effectively exploit infrared cues in saturated regions, resulting in insufficient infrared detail preservation or redundant information in the fused results. To address this, we propose EPOFusion, an exposure-aware fusion framework. It uses a spatial guidance module to selectively preserve informative infrared cues in overexposed regions. In addition, an iterative decoding head equipped with a multiscale context fusion module progressively refines fused representations, enabling effective infrared compensation in degraded regions while maintaining visual consistency in normal regions. The infrared and visible overexposure (IVOE) dataset is constructed with a synthetic training subset for controlled supervision and a real-world test subset for generalization assessment, supporting exposure-aware learning and evaluation. Extensive experiments on MSRS, FMB, and the proposed IVOE benchmark show that EPOFusion improves information preservation and visual fidelity, achieving an average full-image MI gain of 28.7% over the best competing methods. Qualitative results further demonstrate effective compensation in saturated regions, and downstream evaluations confirm its benefits under challenging overexposed conditions. Code, results, and the IVOE dataset will be made available atthis https URL.