RecDiffusion: Rectangling for Image Stitching with Diffusion Models

📄 arXiv: 2403.19164v1 📥 PDF

作者: Tianhao Zhou, Haipeng Li, Ziyi Wang, Ao Luo, Chen-Lin Zhang, Jiajun Li, Bing Zeng, Shuaicheng Liu

分类: cs.CV

发布日期: 2024-03-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出RecDiffusion以解决图像拼接中的非矩形边界问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 图像拼接 扩散模型 运动场生成 内容优化 几何修正 视觉效果 深度学习

📋 核心要点

  1. 现有图像拼接方法在处理非矩形边界时存在内容丢失、引入无关内容或失真等问题，影响最终效果。
  2. 本文提出的RecDiffusion框架结合运动扩散模型和内容扩散模型，旨在实现图像拼接的矩形化处理。
  3. 实验结果表明，RecDiffusion在定量和定性评估中均超越了现有所有方法，展示了显著的性能提升。

📝 摘要（中文）

图像拼接常常导致非矩形边界，影响视觉效果。现有方法如裁剪、修复和变形等，均存在内容丢失、引入无关内容或失真等问题。为此，本文提出了一种新颖的基于扩散模型的学习框架RecDiffusion，旨在实现图像拼接的矩形化。该框架结合运动扩散模型（MDM）生成运动场，平滑过渡至几何修正的中间图像，随后利用内容扩散模型（CDM）进行细节优化。我们的采样过程使用加权图识别需要修正的区域，确保几何准确性和视觉美感，且在公共基准测试中超越了所有现有方法。

🔬 方法详解

问题定义：本文旨在解决图像拼接中产生的非矩形边界问题。现有方法如裁剪会丢失图像内容，修复可能引入无关内容，而变形则可能导致失真和伪影。

核心思路：RecDiffusion框架的核心思想是结合运动扩散模型（MDM）和内容扩散模型（CDM），通过生成运动场来平滑过渡至几何修正的图像，并在此基础上进行细节优化。

技术框架：该框架分为两个主要模块：首先，使用MDM生成运动场，将不规则边界转换为几何修正的中间图像；其次，利用CDM对图像细节进行优化，确保最终图像的视觉效果。

关键创新：RecDiffusion的创新在于其独特的采样过程，使用加权图来识别每次迭代中需要修正的区域，从而提高了几何准确性和视觉吸引力。与现有方法相比，这种方法有效避免了内容丢失和失真问题。

关键设计：在技术细节上，RecDiffusion采用了特定的损失函数来平衡几何修正与细节保留，并设计了适应性强的网络结构，以便在不同场景下进行有效的图像拼接。通过这些设计，框架能够在多种情况下保持高质量的拼接效果。

📊 实验亮点

在公共基准测试中，RecDiffusion在定量和定性评估中均超越了所有现有方法，展示了显著的性能提升，具体数据表明在视觉质量和几何准确性上均有明显改善。

🎯 应用场景

RecDiffusion框架在图像拼接领域具有广泛的应用潜力，尤其适用于全景图像生成、虚拟现实和增强现实等场景。其能够有效提升图像的视觉质量和几何准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Image stitching from different captures often results in non-rectangular boundaries, which is often considered unappealing. To solve non-rectangular boundaries, current solutions involve cropping, which discards image content, inpainting, which can introduce unrelated content, or warping, which can distort non-linear features and introduce artifacts. To overcome these issues, we introduce a novel diffusion-based learning framework, \textbf{RecDiffusion}, for image stitching rectangling. This framework combines Motion Diffusion Models (MDM) to generate motion fields, effectively transitioning from the stitched image's irregular borders to a geometrically corrected intermediary. Followed by Content Diffusion Models (CDM) for image detail refinement. Notably, our sampling process utilizes a weighted map to identify regions needing correction during each iteration of CDM. Our RecDiffusion ensures geometric accuracy and overall visual appeal, surpassing all previous methods in both quantitative and qualitative measures when evaluated on public benchmarks. Code is released at https://github.com/lhaippp/RecDiffusion.