Beyond Uniform Restoration: Empowering All-in-One Restoration with Pixel-Level Multimodal Guidance

📄 arXiv: 2608.09482v1 📥 PDF

作者: Chunxiao Liu, Wei Liu, Anbin Xiong, Erli Meng

分类: cs.CV, cs.AI

发布日期: 2026-08-10

备注: Accepted by ACMMM2026 as Oral Paper

💡 一句话要点

提出像素级多模态引导的全能图像修复框架MGN-AIR

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像修复 多模态引导 像素级处理 计算机视觉 深度学习

📋 核心要点

  1. 现有的全能图像修复方法通常采用统一的修复策略，无法有效应对不同区域的多样化退化类型和严重程度。
  2. 本文提出MGN-AIR框架，通过像素级视觉提示和多模态引导，实现更精细的图像修复，提升修复质量。
  3. 实验结果显示，MGN-AIR在去噪、去雨、去模糊等多项任务上均显著优于现有方法，验证了其有效性。

📝 摘要（中文）

全能图像修复是一项统一的低级视觉任务，旨在通过单一模型有效恢复因各种类型和程度的损坏而退化的高质量图像。尽管近期研究通过学习适应退化的提示或网络架构取得了显著进展，但现有方法通常在整个图像上应用统一的修复策略，忽视了不同区域可能遭受不同退化类型和严重程度的事实。为此，本文提出了一种像素级修复的方法，能够对修复过程进行更细致和精确的控制。具体而言，我们提出了MGN-AIR，一个新颖的像素级修复框架，首先学习估计像素级视觉提示，然后利用文本和视觉提示提供全局和局部的退化线索，指导模型在每个像素上进行修复。实验结果表明，我们的方法在多个全能图像修复基准上显著优于现有方法。

🔬 方法详解

问题定义：本文旨在解决全能图像修复中统一修复策略的不足，现有方法未能针对不同区域的多样化退化进行有效处理。

核心思路：MGN-AIR框架通过学习像素级视觉提示，结合文本和视觉信息，提供全局与局部的退化线索，从而实现更精确的修复。

技术框架：该框架包括两个主要模块：像素级视觉提示生成模块和多模态引导模块。前者负责生成每个像素的视觉提示，后者则结合文本和视觉信息，指导修复过程。

关键创新：MGN-AIR的核心创新在于像素级的修复策略，区别于传统方法的全局统一修复，能够针对每个像素的具体情况进行调整。

关键设计：在设计中，采用了多模态输入以增强模型的理解能力，损失函数则结合了像素级和区域级的损失，以确保修复效果的细致与全面。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MGN-AIR在多个全能图像修复基准上均显著优于现有方法，尤其在去噪和去模糊任务中，性能提升幅度达到10%以上，验证了其在处理复杂退化场景中的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像处理、计算机视觉、智能监控和自动驾驶等。MGN-AIR框架能够在多种图像退化场景下提供高质量的修复效果，具有广泛的实际价值和未来影响，尤其是在需要高精度图像恢复的应用中。

📄 摘要（原文）

All-in-one image restoration is a unified low-level vision task that aims to effectively recover high-quality images from inputs degraded by various types and levels of corruption using a single model. Recent works have achieved remarkable progress by learning degradation-adaptive prompts or network architectures. However, these methods typically apply a uniform restoration strategy across the entire image, neglecting the fact that different regions may suffer from distinct degradation types and varying degrees of severity. In contrast, we propose to perform restoration at the pixel level, thereby enabling more fine-grained and precise control over the restoration process. Specifically, we present MGN-AIR, a novel pixel-level restoration framework for all-in-one image restoration. Our approach first learns to estimate a pixel-level visual prompt. Then, it leverages both textual and visual prompts to provide global and local degradation cues, guiding the model on where to look and how to restore at each pixel. We conduct extensive experiments on multiple all-in-one image restoration benchmarks, covering a wide range of tasks including denoising, deraining, deblurring, dehazing, desnowing, and low-light enhancement. Experimental results demonstrate that our proposed method consistently and significantly outperforms existing approaches.