MoCRA: Mixture of Compositional Rank-1 Atoms for 4K All-in-One Video Restoration
作者: Yongcong Wang, Pu Wang, Hingchin Chen, Runci Bai, Yucheng Xin, Chen Wu, Chengchao Shen, Guangwei Gao, Siyuan Yao, Pengwen Dai, Zhuoran Zheng
分类: cs.CV
发布日期: 2026-08-03
💡 一句话要点
提出MoCRA以解决4K视频恢复中的多重退化问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视频恢复 4K处理 深度学习 图像处理 多模态学习
📋 核心要点
- 现有视频恢复方法在处理多种退化时表现不佳，无法同时满足无标签、4K输出和播放稳定性。
- 本文提出MoCRA方法，通过构建Rank-1原子字典，结合不同退化类型的条件，进行高效的视频恢复。
- 实验结果显示，MoCRA在恢复质量上超越了11个基线方法，恢复时间显著缩短，达到实时处理的要求。
📝 摘要（中文）
现实世界中的视频常常存在模糊、雨天、黑暗或噪声等问题，而可部署的恢复器需要同时满足三个要求：无退化标签、原生4K输出和播放稳定性。现有方法分别解决这些问题，但在联合问题上表现不佳。为此，本文构建了UHV-4K-AIO基准，模拟了多种退化情况，并提出了MoCRA方法，通过稀疏重组的Rank-1原子字典，实现了高效的4K视频恢复，且在性能上超越了现有的图像和视频基线。
🔬 方法详解
问题定义：本文旨在解决现实视频中的多重退化问题，包括模糊、雨天、黑暗和噪声等，现有方法无法有效处理这些联合问题，导致恢复效果不佳。
核心思路：MoCRA方法通过构建一个Rank-1原子字典，利用稀疏重组技术，针对不同类型的退化进行条件处理，从而实现高效的4K视频恢复。
技术框架：整体架构包括两个主要模块：一个粗略的分支用于处理每个视频片段，另一个用于细化恢复至原生分辨率。该方法不依赖光流估计，减少了计算复杂度。
关键创新：MoCRA的核心创新在于其混合的成分条件设计，能够在不同的频段中有效处理各类退化，且在参数设置上仅需3.6M，显著提高了恢复效率。
关键设计：在损失函数设计上，MoCRA采用了针对不同退化类型的条件损失，确保在恢复过程中保持高质量输出，同时优化了网络结构以适应4K视频处理的需求。
🖼️ 关键图片
📊 实验亮点
MoCRA在视频恢复任务中表现出色，取得了最佳任务均值PSNR，相较于11个重训练的基线方法，恢复时间缩短至0.5秒，而最快的基线为1.7秒，显示出显著的性能提升。
🎯 应用场景
该研究在视频处理、影视后期制作、在线直播等领域具有广泛的应用潜力。通过高效的4K视频恢复技术，可以显著提升视频质量，改善用户体验，满足日益增长的高分辨率内容需求。未来，该技术还可能扩展到实时视频监控和增强现实等新兴领域。
📄 摘要（原文）
Real-world video arrives hazy, rainy, dark, or noisy, and a deployable restorer faces three demands at once: no degradation label, native 4K output, and stability in playback. Existing methods answer them separately and break on the joint problem, because per-frame degradation readings flip between frames, downsampled proxies erase the rain and noise they are meant to remove, and dense temporal alignment does not fit 4K memory. No paired benchmark even poses that problem, so we build one. UHV-4K-AIO renders physically modeled haze, rain, sensor noise, and low light over the same 100 clean 4K clips with shared depth and motion, and its construction exposes the split MoCRA is built on: haze and low light survive aggressive downsampling, while rain and noise exist only at native scale. Band-matched compositional conditioning follows, spending conditioning capacity, computation, and supervision in the band where each degradation lives. One dictionary of rank-1 atoms, recomposed sparsely per frame, conditions both a once-per-clip coarse branch and a shallow native-resolution refiner, in 3.6M parameters and with no optical flow. Trained once for all four tasks, MoCRA takes the best task-mean PSNR of eleven retrained image and video baselines, holds warping error at the level of the flow-based video models while never estimating motion, and restores native 4K in under half a second, against 1.7 seconds for the fastest baseline.