Improving Complex Moiré Removal with Generative Supervision
作者: Xinyang Gu, Zhilu Zhang, Honglei Xu, Yanting Mei, Yukang Ding, Wangmeng Zuo
分类: cs.CV
发布日期: 2026-08-18
备注: 14 pages, 5 figures. Project page: https://xinygu-pavo.github.io/WildMoire/
💡 一句话要点
提出生成监督方法以改善复杂莫尔纹去除问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 复杂莫尔纹 图像去噪 生成模型 数据增强 计算机视觉 深度学习
📋 核心要点
- 现有方法在处理复杂莫尔纹时面临数据不足和模式多样性带来的挑战，难以获得高质量的训练样本。
- 论文提出了一种生成监督的方法，通过生成候选图像并进行质量控制，构建了高质量的训练数据集以改善去莫尔纹效果。
- 实验结果表明，使用生成监督的方法在多个基线模型上均显著提升了复杂莫尔纹去除的性能，验证了方法的有效性。
📝 摘要（中文）
高质量配对数据的可用性对基于学习的图像去莫尔纹模型的训练至关重要。然而，现有数据集难以涵盖在非受控真实场景中捕获的复杂莫尔纹模式。此类退化通常表现为大规模、多色的莫尔纹，且这些模式常出现在难以获得干净对应图像的照片中，如公共显示屏或现有在线资源中的图像。本文提出了一种新颖的数据引擎，通过生成训练监督来改善复杂莫尔纹的去除。我们首先收集包含复杂莫尔纹的真实图像，并定位相应的屏幕区域。随后，部署多个图像条件生成基础模型生成候选参考图像，并通过补丁级质量控制来筛选和选择最佳结果。基于这一系统化范式，我们构建了WildMoiré数据集，包含6800对莫尔纹-真实图像训练对，并建立了约250对包含干净真实图像的独立测试集。大量实验表明，所提出的生成监督方法在复杂莫尔纹去除任务中显著提升了性能。
🔬 方法详解
问题定义：本文旨在解决复杂莫尔纹去除中的数据稀缺问题，现有方法难以处理多样化的莫尔纹模式，导致去除效果不佳。
核心思路：通过构建生成监督机制，利用真实图像生成高质量的训练样本，从而提升去莫尔纹模型的训练效果。
技术框架：整体流程包括收集包含复杂莫尔纹的真实图像、定位屏幕区域、使用生成模型生成候选图像、进行质量控制以筛选最佳结果，最终构建训练数据集。
关键创新：最重要的创新在于引入生成监督的概念，通过生成模型提供的候选图像来增强训练数据的多样性和质量，与传统方法依赖于真实配对数据的方式形成鲜明对比。
关键设计：在生成候选图像时，采用了多个图像条件生成基础模型，并在筛选过程中引入了补丁级质量控制，以确保生成图像的高质量和相关性。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的生成监督方法在ESDNet、SDXL和Qwen-Image-Edit等多个基线模型上均显著提升了复杂莫尔纹去除的性能，具体提升幅度达到XX%，验证了方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括图像处理、计算机视觉和数字媒体等，尤其是在需要去除复杂莫尔纹的场景中，如公共显示屏的图像处理和在线资源的图像修复。其实际价值在于提升图像质量，改善用户体验，未来可能推动相关技术在更广泛领域的应用。
📄 摘要（原文）
The availability of high-quality paired data is essential for training learning-based image demoiréing models. However, it remains challenging for existing datasets to encompass the complex moiré patterns captured in uncontrolled real-world scenarios. Such degradations typically manifest as large-scale, multicolored moiré patterns. Moreover, these patterns frequently occur in images for which clean counterparts are difficult to obtain, such as photographs acquired from public displays or existing online resources. In this work, we propose a novel data engine designed to improve the removal of complex moiré patterns by generating training supervision. Specifically, we initially collect real-world images containing complex moiré patterns and localize the corresponding screen regions. Multiple image-conditioned generative foundation models are subsequently deployed to produce candidate references. To establish reliable supervision, these candidates are subjected to patch-level quality control to filter and select the optimal results. Based on this systematic paradigm, we construct the WildMoiré dataset, which contains 6.8K moiré-GT training pairs. For evaluation, we additionally build an independent test set comprising $\sim$250 pairs with captured clean ground truth. Extensive experiments on ESDNet, SDXL, and Qwen-Image-Edit demonstrate that the proposed generative supervision consistently improves the performance of complex moiré removal.