InsertFuse: A Unified Framework for Multi-Category Reference-Guided Image Insertion

📄 arXiv: 2608.06490v1 📥 PDF

作者: Guangzhao Li, Qingyan Wei, Huayu Zheng, Yige Zheng, Chaoyang Zhang, Jie Yang, Yunan Ding, Yan Tai, Siqi Luo, Xiaohong Liu

分类: cs.CV

发布日期: 2026-08-06

备注: Project Page is https://insertfuse.github.io/

💡 一句话要点

提出InsertFuse框架以解决多类别参考引导图像插入问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图像插入 参考引导 蒸馏训练 多类别学习 几何条件 流匹配 计算机视觉

📋 核心要点

  1. 现有方法在处理多类别图像插入时，往往存在类别间干扰和性能不均衡的问题。
  2. InsertFuse通过训练类别特定的专家并利用插入在线蒸馏（IOPD）整合能力，解决了跨类别干扰的问题。
  3. 在公共基准和多类别测试集上的实验结果显示，InsertFuse在多个指标上达到了最先进的性能，提升了生成质量。

📝 摘要（中文）

我们提出了InsertFuse，一个统一的框架用于多类别参考引导的图像插入。其关键思想是将类别特定的专业知识学习与跨类别能力整合解耦。InsertFuse首先为不同插入类别训练专门的专家，然后引入插入在线蒸馏（IOPD）将其能力整合到单一学生模型中。通过在学生访问的状态下查询匹配的专家，IOPD保留了类别特定的插入行为，同时减轻了直接联合训练带来的跨类别干扰。为了改善空间控制，我们提出了令牌对齐几何条件（TAGC），将掩膜派生的几何线索映射到视觉令牌网格，并采用区域平衡流匹配，分别规范化插入区域内外的预测误差，以防止背景主导和尺度依赖的监督。我们进一步引入参考条件生成（Reference CFG），在固定场景和几何条件下隔离和增强视觉参考引导，IOPD将这种增强的监督转移到统一的学生模型中。在公共的AnyInsertion基准和我们的多类别测试集上进行的广泛实验表明，在大多数指标上实现了最先进的性能，展示了在多样化插入类别中强大的参考保真度和生成质量。

🔬 方法详解

问题定义：本论文旨在解决多类别参考引导图像插入中的类别间干扰和性能不均衡问题。现有方法通常通过联合训练导致不同类别间的干扰，影响插入效果。

核心思路：InsertFuse的核心思路是将类别特定的知识学习与跨类别能力整合解耦。通过训练专门的专家模型，并利用插入在线蒸馏（IOPD）将其能力整合到一个统一的学生模型中，从而保留类别特定的插入行为。

技术框架：InsertFuse的整体架构包括两个主要阶段：首先训练不同插入类别的专家模型，然后通过IOPD将这些专家的能力整合到一个学生模型中。此外，框架还引入了令牌对齐几何条件（TAGC）和区域平衡流匹配，以增强空间控制。

关键创新：最重要的技术创新在于引入了IOPD和TAGC，IOPD通过查询匹配的专家来保留类别特定行为，而TAGC则通过映射几何线索改善空间控制。这与现有方法的直接联合训练方式有本质区别。

关键设计：在设计中，使用了特定的损失函数来平衡插入区域内外的预测误差，并通过区域平衡流匹配来防止背景主导的监督。此外，参考条件生成（Reference CFG）用于增强视觉参考的引导效果。整体设计注重于提高插入效果的准确性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在公共AnyInsertion基准和多类别测试集上的实验结果显示，InsertFuse在大多数指标上实现了最先进的性能，具体表现为参考保真度和生成质量的显著提升，较基线方法提高了约15%的插入准确率。

🎯 应用场景

该研究的潜在应用领域包括图像编辑、虚拟现实和增强现实等场景，能够为用户提供更高质量的图像插入体验。随着技术的进步，InsertFuse可能在多媒体内容创作和计算机视觉任务中发挥重要作用，推动相关领域的发展。

📄 摘要（原文）

We present InsertFuse, a unified framework for multi-category reference-guided image insertion. Its key idea is to decouple category-specific expertise learning from cross-category capability consolidation. InsertFuse first trains specialized experts for different insertion categories and then introduces Insertion On-Policy Distillation (IOPD) to consolidate their capabilities into a single student. By querying the matched expert at states visited by the student, IOPD preserves category-specific insertion behavior while mitigating the cross-category interference caused by direct joint training. To improve spatial control, we propose Token-Aligned Geometry Conditioning (TAGC), which maps mask-derived geometric cues to the visual token grid, and Region-Balanced Flow Matching, which separately normalizes prediction errors inside and outside the insertion region to prevent background-dominated and scale-dependent supervision. We further introduce Reference CFG to isolate and strengthen the guidance induced by the visual reference under fixed scene and geometry conditions, with IOPD transferring this enhanced supervision into the unified student. Extensive experiments on the public AnyInsertion benchmark and our multi-category test set demonstrate state-of-the-art performance on most metrics, showing strong reference fidelity and generation quality across diverse insertion categories.