MaeFuse: Transferring Omni Features with Pretrained Masked Autoencoders for Infrared and Visible Image Fusion via Guided Training

📄 arXiv: 2404.11016v2 📥 PDF

作者: Jiayang Li, Junjun Jiang, Pengwei Liang, Jiayi Ma, Liqiang Nie

分类: cs.CV, cs.AI

发布日期: 2024-04-17 (更新: 2025-02-09)

💡 一句话要点

提出MaeFuse以解决红外与可见光图像融合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 红外图像 可见光图像 图像融合 自编码器 多模态学习 深度学习 引导训练

📋 核心要点

  1. 现有图像融合方法依赖下游任务训练，难以有效整合红外与可见光图像的特征，导致信息损失。
  2. MaeFuse模型利用预训练的MAE编码器提取全方位特征，采用引导训练策略提升融合效果，降低训练成本。
  3. 在多个公共数据集上，MaeFuse展现出优异的性能，显著提升了图像融合的视觉质量和细节保留能力。

📝 摘要（中文）

本文介绍了MaeFuse，一种新型自编码器模型，旨在实现红外与可见光图像融合（IVIF）。现有图像融合方法通常依赖于与下游任务结合的训练，以获取高层次视觉信息，强调目标物体并在视觉质量和任务特定应用中取得良好效果。与此不同，MaeFuse利用预训练的Masked Autoencoders（MAE）编码器，提取全方位特征以进行低层次重建和高层次视觉任务，从而以低成本获取感知友好的特征。为消除不同模态特征的领域差距及MAE编码器引起的块效应，本文进一步开发了一种引导训练策略，确保融合层能够无缝调整到编码器的特征空间，逐步提升融合性能。该方法能够全面整合红外和可见光模态的特征向量，保留每种模态固有的丰富细节。

🔬 方法详解

问题定义：本文旨在解决红外与可见光图像融合中的特征整合问题。现有方法往往依赖于下游任务训练，导致信息损失和融合效果不佳。

核心思路：MaeFuse通过利用预训练的Masked Autoencoders（MAE）编码器，提取全方位特征，避免了对下游任务的依赖，同时引入引导训练策略以消除模态间的领域差距。

技术框架：MaeFuse的整体架构包括预训练的MAE编码器、特征提取模块、融合层和引导训练机制，确保不同模态特征的有效整合和优化。

关键创新：最重要的创新在于引入了引导训练策略，使得融合层能够适应编码器的特征空间，从而提升了融合性能。这一设计与传统依赖下游任务的方式形成了鲜明对比。

关键设计：在参数设置上，模型采用了特定的损失函数以优化融合效果，并在网络结构中设计了适应性强的融合层，以确保不同模态特征的有效结合。具体的网络结构细节和损失函数设计在论文中有详细阐述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个公共数据集上，MaeFuse相较于传统方法展现出显著的性能提升，具体表现为在视觉质量上提高了XX%，在细节保留能力上提升了YY%。这些结果表明，MaeFuse在红外与可见光图像融合任务中具有优越的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括监控、医疗成像和自动驾驶等场景，能够有效提升红外与可见光图像的融合质量，增强目标检测和识别的准确性。未来，MaeFuse有望在多模态数据处理和智能视觉系统中发挥重要作用。

📄 摘要（原文）

In this paper, we introduce MaeFuse, a novel autoencoder model designed for Infrared and Visible Image Fusion (IVIF). The existing approaches for image fusion often rely on training combined with downstream tasks to obtain highlevel visual information, which is effective in emphasizing target objects and delivering impressive results in visual quality and task-specific applications. Instead of being driven by downstream tasks, our model called MaeFuse utilizes a pretrained encoder from Masked Autoencoders (MAE), which facilities the omni features extraction for low-level reconstruction and high-level vision tasks, to obtain perception friendly features with a low cost. In order to eliminate the domain gap of different modal features and the block effect caused by the MAE encoder, we further develop a guided training strategy. This strategy is meticulously crafted to ensure that the fusion layer seamlessly adjusts to the feature space of the encoder, gradually enhancing the fusion performance. The proposed method can facilitate the comprehensive integration of feature vectors from both infrared and visible modalities, thus preserving the rich details inherent in each modal. MaeFuse not only introduces a novel perspective in the realm of fusion techniques but also stands out with impressive performance across various public datasets.