Universal Image Restoration via Internalized Chain-of-Thought Reasoning
作者: Yu Guo, Zhengru Fang, Shengfeng He, Senkang Hu, Yihang Tao, Phone Lin, Yuguang Fang
分类: cs.CV
发布日期: 2026-06-16
🔗 代码/项目: GITHUB
💡 一句话要点
提出CoTIR以解决复杂图像恢复问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像恢复 链式思维 深度学习 计算机视觉 图像编辑 多轮恢复 优化算法
📋 核心要点
- 现有图像恢复方法在处理复杂混合退化时性能显著下降，且多轮恢复的计算成本高。
- CoTIR通过将链式思维推理内化于单一模型，利用预训练的图像编辑模型作为优化基础，提升恢复效果。
- 在大规模基准CoTIR-Bench上，CoTIR在感知质量和保真度方面表现优异，超越了现有的全能模型和多轮恢复方法。
📝 摘要（中文）
图像恢复旨在从退化输入中恢复高质量图像，但在复杂混合退化下变得高度不适定。虽然统一的全能模型常见，但其性能在退化复杂性增加时下降。近期研究采用链式思维（CoT）推理进行多轮恢复，但面临计算成本增加和退化间交互建模不足的挑战。本文提出CoTIR，一个将CoT推理内化于单一模型的通用图像恢复框架。我们将图像恢复视为图像编辑的专门子任务，利用大规模预训练的编辑模型作为优化起点。通过微调模型并将结构化的CoT推理编码到学习目标中，CoTIR实现了整体恢复。实验结果显示，CoTIR在感知质量和保真度上优于全能模型和多轮恢复方法。
🔬 方法详解
问题定义：本文旨在解决图像恢复中的复杂混合退化问题。现有方法在处理多种退化时，往往面临性能下降和计算成本增加的挑战。
核心思路：CoTIR的核心思路是将链式思维推理内化到单一模型中，避免多轮处理带来的计算开销，同时增强退化间的交互建模。
技术框架：CoTIR框架包括一个预训练的图像编辑模型，通过微调实现图像恢复，并在学习目标中引入结构化的CoT推理。整体流程为：输入图像→预处理→模型微调→恢复输出。
关键创新：CoTIR的最大创新在于将CoT推理内化于单一模型，打破了传统多轮恢复方法的局限，提供了更高效的解决方案。
关键设计：在模型设计中，采用了基于拉格朗日优化的可微分形式来编码CoT推理，损失函数设计上注重感知质量与保真度的平衡。
🖼️ 关键图片
📊 实验亮点
在CoTIR-Bench基准上，CoTIR在感知质量和保真度方面表现优异，超越了现有的全能模型和多轮恢复方法，具体提升幅度达到XX%（具体数据待补充）。
🎯 应用场景
该研究的潜在应用领域包括图像修复、图像增强和计算机视觉中的多种任务。CoTIR能够在复杂场景下提供高质量的图像恢复，具有广泛的实际价值，未来可能推动相关领域的技术进步。
📄 摘要（原文）
Image restoration seeks to recover high-quality images from degraded inputs but becomes highly ill-posed under complex, mixed degradations. While unified all-in-one models are common, their performance declines as degradation complexity increases. Recent works adopt Chain-of-Thought (CoT) reasoning for multi-round restoration using specialized modules. However, this approach faces two key limitations: (i) increased computational cost due to multi-step processing, and (ii) weak modeling of interactions between degradations during stepwise inference. We introduce CoTIR, a universal image restoration framework that internalizes CoT reasoning within a single model. Concretely, we view image restoration as a specialized subtask of image editing, which implies that a large-scale pre-trained editing model provides a more favorable optimization starting point. Building on this, we fine-tune the model for restoration and further encode structured CoT-style reasoning into the learning objective via a differentiable formulation inspired by Lagrangian optimization, enabling holistic restoration without chaining specialized restorers. To facilitate training and evaluation, we further present CoTIR-Bench, a large-scale benchmark comprising 5.2 million samples with CoT-style reasoning traces. Extensive experiments on CoTIR-Bench and broad real composite degradation scenes show that CoTIR achieves stronger perceptual quality and more competitive fidelity than both all-in-one models and multi-round restoration methods. The source code is available at https://github.com/gy65896/CoTIR.