Flow-Map Distillation on Relation Manifolds for Image Restoration
作者: Zihao He, Songhua Liu
分类: cs.CV
发布日期: 2026-08-06
备注: 9 pages, 7 figures. Accepted to ACM Multimedia 2026
💡 一句话要点
提出Flow-Map蒸馏方法以提升图像恢复性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 知识蒸馏 图像恢复 流映射 动态知识转移 关系流形 深度学习 图像处理
📋 核心要点
- 现有的知识蒸馏方法将教师和学生网络的特征对齐视为静态目标，未能有效捕捉知识转移过程中的动态变化。
- 本文提出的FoRM方法将知识转移视为关系流形上的连续流映射问题，能够动态预测关系状态，提供更丰富的监督信息。
- 在五个图像恢复任务上，FoRM在多个主干网络上均表现出优越性，训练方差降低约50%，恢复质量显著提升。
📝 摘要（中文）
知识蒸馏在图像恢复中的应用通常将教师和学生网络之间的中间特征或关系矩阵视为静态目标，忽视了知识传递过程的动态结构。本文提出了基于关系流形的Flow-Map蒸馏方法（FoRM），将基于关系的知识转移重新定义为关系流形上的连续流映射问题。FoRM学习一个流映射算子，能够在任意目标时间预测关系状态，从而实现更丰富的轨迹级监督。通过引入安全半群一致性约束，确保学习的流映射的全局自一致性，消除虚假状态误差的累积。实验表明，FoRM在多个图像恢复任务上均优于现有的蒸馏基线，训练方差降低约50%，同时恢复质量显著提升。
🔬 方法详解
问题定义：本文旨在解决现有知识蒸馏方法在图像恢复任务中对动态知识转移过程的忽视，导致恢复效果不佳和训练不稳定的问题。
核心思路：FoRM通过将关系知识转移重新定义为流映射问题，学习一个流映射算子，能够在任意时间点预测关系状态，从而实现动态的知识传递和更丰富的监督。
技术框架：FoRM的整体架构包括流映射算子的学习、半群一致性约束的引入以及端点锚定损失的设计。流映射算子负责在不同时间点之间进行关系状态的预测，而一致性约束确保了流映射的全局一致性。
关键创新：FoRM的主要创新在于将知识转移视为动态流映射问题，而非静态的特征对齐，这一设计使得知识传递过程更加灵活和有效。
关键设计：在技术细节上，FoRM引入了安全半群一致性约束以消除虚假状态误差，并设计了端点锚定损失以防止流映射算子的漂移，确保其与教师网络的目标保持一致。
🖼️ 关键图片
📊 实验亮点
在五个图像恢复任务上，FoRM方法在多个主干网络上均实现了显著的性能提升，相较于传统的蒸馏基线，训练方差降低约50%，同时恢复质量也得到了显著改善，展示了其优越性。
🎯 应用场景
该研究在图像恢复领域具有广泛的应用潜力，包括超分辨率、去雨、去噪、去模糊和低光增强等任务。FoRM方法的动态知识转移机制能够有效提升图像恢复的质量，具有重要的实际价值和未来影响。
📄 摘要（原文）
Knowledge distillation for image restoration typically aligns intermediate features or relation matrices between teacher and student networks as static targets, ignoring the dynamic structure of the knowledge transfer process. In this paper, we propose Flow-Map Distillation on Relation Manifolds (FoRM), which reformulates relation-based knowledge transfer as a continuous flow mapping problem on the relation manifold. Rather than regressing a constant velocity field between student and teacher relation states, FoRM learns a flow map operator $\mathcal{F}_θ(\mathbf{z}, t, s)$ that directly predicts the relation state at any target time $s$ given the current state at time $t$, enabling richer trajectory-level supervision. To ensure global self-consistency of the learned flow map, we introduce a safe semigroup consistency constraint that enforces compositional agreement using ground-truth bridge states, eliminating phantom-state error accumulation. An endpoint anchoring loss further prevents the operator from drifting away from the teacher target. Extensive experiments on five image restoration tasks, including super-resolution, deraining, denoising, deblurring, and low-light enhancement, demonstrate consistent gains over state-of-the-art distillation baselines across multiple backbone architectures, reducing training variance by approximately 50\% compared to naive flow matching distillation while achieving superior restoration quality.