ProtoFusion: Protocol-Guided Prompt Refinement for Generative Infrared and Visible Image Fusion
作者: Pengwei Liang, Junjun Jiang, Junhui Hou
分类: cs.CV
发布日期: 2026-11-02
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出ProtoFusion以解决红外与可见光图像融合问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 红外图像 可见光图像 图像融合 生成模型 多模态学习 协议引导 闭环学习 视觉一致性
📋 核心要点
- 现有的红外与可见光图像融合方法依赖固定的融合操作和手工设计的目标，缺乏灵活性和适应性。
- ProtoFusion通过协议约束生成的方式，利用结构化协议来指导融合过程，提升了生成的灵活性和效果。
- 在标准基准上的广泛实验表明，ProtoFusion在定量性能和美学评估上均优于现有方法，生成的图像更具视觉一致性。
📝 摘要（中文）
红外与可见光图像融合整合了两种模态的互补信息，以提供更全面的场景表示。本文提出了ProtoFusion，一个基于协议引导的生成框架，用于红外与可见光图像融合。ProtoFusion将融合过程视为协议约束生成，通过结构化协议明确指定保留或抑制的证据及融合结果应满足的属性。我们引入了协议引导的提示优化，形成闭环学习框架，迭代进行生成、评估和修正。实验结果表明，ProtoFusion在定量性能和美学评估上均有显著提升，生成的融合结果视觉上也更加一致。
🔬 方法详解
问题定义：本文旨在解决红外与可见光图像融合中的信息整合问题。现有方法通常依赖固定的融合操作和手工设计的目标，导致灵活性不足和效果不佳。
核心思路：ProtoFusion的核心思路是将融合过程视为协议约束生成，利用结构化协议明确融合意图，从而优化生成过程。这样的设计使得融合过程更加灵活，能够适应不同场景的需求。
技术框架：ProtoFusion的整体架构包括三个主要模块：环境状态卡、基础原则和风格配置文件。这些模块共同构成了一个结构化的协议，指导生成过程。生成后，采用结构化信念构建来处理源图像间的不一致性。
关键创新：本文的主要创新在于引入协议引导的提示优化，形成闭环学习框架，能够在多模态证据下迭代生成、评估和修正。这一方法与传统的固定融合操作有本质区别。
关键设计：在设计中，采用了结构化协议来明确融合意图，并在推理时固定优化后的协议。此外，结构化信念构建模块用于组织模态可靠性和场景证据，以便在生成后进行保守修正。
🖼️ 关键图片
📊 实验亮点
在标准基准测试中，ProtoFusion显著提高了定量性能，相较于传统方法，视觉一致性和美学评估结果也得到了提升，具体性能数据未提供，但实验结果表明其在多个方面均优于现有技术。
🎯 应用场景
ProtoFusion的研究成果在多个领域具有潜在应用价值，包括安防监控、自动驾驶、医疗成像等。通过更好地融合红外与可见光信息，可以提升场景理解的准确性和可靠性，进而推动相关技术的发展与应用。
📄 摘要（原文）
Infrared and visible image fusion integrates complementary information from both modalities to provide a more comprehensive representation of the scene. We propose ProtoFusion, a protocol-guided generative framework for infrared and visible image fusion. Instead of relying on fixed fusion operators, hand-crafted objectives, or manually specified one-shot prompts, ProtoFusion formulates fusion as protocol-constrained generation. It represents fusion intent with a structured protocol, consisting of environment state cards, grounding principles, and a style profile, which explicitly specifies which evidence should be preserved or suppressed and which properties the fused result should satisfy. To optimize this protocol, we introduce protocol-guided prompt refinement, a closed-loop learning framework that iteratively performs generation, evaluation, and revision under multimodal evidence. Once learned, the optimized protocol is fixed at inference time and directly guides fusion generation. To address residual source inconsistencies, we further incorporate structured belief construction, which organizes modality reliability, scene evidence, and cross-modal conflicts into a structured representation for conservative correction after generation. Extensive experiments on standard benchmarks show that ProtoFusion improves quantitative performance, achieves favorable results in aesthetic evaluation, and produces visually coherent fusion outputs. Project Page: {https://erfect2020.github.io/ProtoFusion/}.