P2Fusion: Prompt-based Progressive Infrared-Visible Image Fusion via Dual-Prior Distillation

📄 arXiv: 2608.13045v1 📥 PDF

作者: Yi Shi, Huichao Xie, Yuqing Wang, Mingyu Wang, Kaihui Yang, Yu Liu, Ruitao Lu, Lizhe Li, Junwei Han, Dingwen Zhang

分类: cs.CV

发布日期: 2026-08-13

备注: Accepted by ECCV 2026. Website: https://p2fusion.github.io

🔗 代码/项目: GITHUB

💡 一句话要点

提出P2Fusion以解决红外-可见图像融合中的信息不对称问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 红外-可见图像融合 多模态感知 动态调节器 蒸馏训练 目标检测 深度学习 特征精炼

📋 核心要点

  1. 现有红外-可见图像融合方法存在信息不对称和优化冲突的问题，难以实现高保真融合。
  2. P2Fusion通过双重内在提示和动态调节器，提供了更灵活的融合方式，克服了静态约束的局限性。
  3. 实验结果表明，P2Fusion在五个数据集上表现优异，尤其在目标检测任务中提升了mAP指标。

📝 摘要（中文）

红外-可见图像融合（IVIF）在多模态感知中至关重要，但如何调和热特征与纹理特征之间的固有信息差异仍然是一个基本挑战。现有的先验引导方法往往依赖静态约束，导致优化冲突，或利用来自大规模基础模型（如CLIP/DINO）的外部语义先验，未能充分利用高保真融合所需的内在模态特性。为了解决这些问题，我们提出了P2Fusion，这是一种基于先验引导的蒸馏框架，通过双重内在提示重新构建IVIF。我们的框架在五个主流数据集上实现了最先进的性能，特别是在14个关键评估指标中取得了最佳结果，并有效提升了下游感知的鲁棒性。

🔬 方法详解

问题定义：本论文旨在解决红外-可见图像融合中的信息不对称问题，现有方法由于依赖静态约束，导致优化冲突，难以充分利用模态特性。

核心思路：P2Fusion通过引入双重内在提示和动态调节机制，避免了硬编码惩罚，利用可学习的动态调节器来优化融合过程，从而实现更高质量的图像融合。

技术框架：该框架包括Teach-to-Fuse机制和Gated Dynamic Expert Recalibration (GDER)模块，前者提供双粒度的渐进指导，后者实现特征的解耦精炼。

关键创新：P2Fusion的主要创新在于通过动态调节器来引导模态竞争，利用内在特征而非外部先验，显著提升了融合效果。

关键设计：在设计中，采用了可学习的动态调节器来替代静态约束，并通过GDER模块实现特征的精细调整，确保了融合过程的灵活性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

P2Fusion在五个主流数据集上实现了最先进的性能，在20个关键评估指标中有14个指标达到了最佳结果。特别是在目标检测任务中，mAP指标分别提升了3.2%（MSRS）、0.5%（M3FD）和0.9%（DroneVehicle），显示出其在下游应用中的显著优势。

🎯 应用场景

该研究在多模态感知领域具有广泛的应用潜力，尤其是在智能监控、无人驾驶和医疗影像等场景中。通过提升红外与可见光图像的融合质量，P2Fusion能够增强系统的环境理解能力和决策支持，未来可能推动相关技术的进一步发展与应用。

📄 摘要（原文）

Infrared-visible image fusion (IVIF) is pivotal for multimodal perception, yet reconciling the inherent information disparity between thermal and textural features remains a fundamental challenge. Existing prior-guided methods often rely on static constraints that induce optimization conflicts or utilize extrinsic semantic priors from large-scale foundation models (e.g., CLIP/DINO), which frequently fail to exploit the intrinsic modality characteristics essential for high-fidelity fusion. To address these issues, we propose P2Fusion, a prior-guided distillation-based framework that reformulates IVIF via dual intrinsic prompts. Instead of imposing hard-coded penalties, we distill image-intrinsic priors, thermal saliency and spatial quality, into learnable dynamic regulators. Specifically, a Teach-to-Fuse mechanism provides dual-granularity progressive guidance, coupled with a Gated Dynamic Expert Recalibration (GDER) module for decoupled feature refinement. This design enables the network to adaptively mediate modal competition through expert specialization. Extensive experiments demonstrate that P2Fusion achieves state-of-the-art performance across five mainstream datasets. Notably, our framework demonstrates consistent performance advantages in fusion quality, achieving state-of-the-art results in 14 out of 20 key evaluation metrics across 5 benchmarks. Furthermore, it effectively contributes to the robustness of downstream perception, such as +3.2% mAP on MSRS, +0.5% mAP on M3FD and +0.9% mAP on DroneVehicle for object detection. Our code will be available at https://github.com/YiShi99/P2Fusion