Lossy Image Compression with Foundation Diffusion Models
作者: Lucas Relic, Roberto Azevedo, Markus Gross, Christopher Schroers
分类: eess.IV, cs.CV
发布日期: 2024-04-12 (更新: 2024-10-08)
备注: Presented at ECCV 2024. This version of the contribution has been accepted for publication, after peer review (when applicable) but is not the Version of Record and does not reflect post-acceptance improvements, or any corrections. The Version of Record is available online at: https://doi.org/10.1007/978-3-031-73030-6_17
💡 一句话要点
提出基于扩散模型的有损图像压缩方法以解决低比特率重建问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像压缩 扩散模型 去噪任务 量化误差 重建质量 深度学习 计算机视觉
📋 核心要点
- 现有方法在低比特率图像压缩中面临重建质量不足的挑战，尤其是在量化误差的处理上。
- 本文提出将量化误差去除视为去噪任务，利用扩散模型恢复丢失的信息，从而减少生成过程的复杂性。
- 实验结果表明，所提方法在定量真实感指标上超越了以往技术，且用户偏好度显著提高。
📝 摘要（中文）
将扩散模型引入图像压缩领域，有望在极低比特率下生成真实且细致的重建图像。以往的方法主要将扩散模型作为对量化误差具有鲁棒性的解码器，但这种方法需要昂贵的训练和较长的推理时间。本文将量化误差的去除视为去噪任务，利用扩散模型恢复传输图像潜在信息。该方法仅需执行不到10%的完整扩散生成过程，无需对扩散模型进行架构更改，从而使基础模型作为强先验得以使用，而无需额外的微调。实验表明，所提编解码器在定量真实感指标上优于以往方法，且用户在定性上更偏好我们的重建结果，即使其他方法使用了两倍的比特率。
🔬 方法详解
问题定义：本文旨在解决低比特率图像压缩中重建质量不足的问题。现有方法依赖于扩散模型作为解码器，但训练成本高且推理时间长，导致实际应用受限。
核心思路：论文的核心思路是将量化误差的去除视为去噪任务，通过扩散模型恢复图像潜在信息。这种设计使得生成过程大幅简化，减少了计算开销。
技术框架：整体架构包括输入图像的量化处理、扩散模型的去噪过程以及最终的图像重建。主要模块包括量化误差去除模块和扩散模型模块，二者协同工作以提升重建质量。
关键创新：最重要的技术创新在于将扩散模型的应用从完整生成过程缩减至不到10%，并且无需对模型架构进行修改。这一方法显著降低了计算复杂度，同时保持了重建质量。
关键设计：在参数设置上，采用了适合去噪任务的损失函数，确保模型能够有效恢复丢失的信息。网络结构上，利用现有的基础模型作为强先验，避免了额外的微调过程。整体设计旨在优化性能与效率的平衡。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提编解码器在定量真实感指标上超越了以往方法，且用户偏好度显著提高。具体而言，尽管其他方法使用了两倍的比特率，用户仍然更倾向于选择我们的重建结果，表明该方法在压缩效率与图像质量之间取得了良好的平衡。
🎯 应用场景
该研究在图像压缩领域具有广泛的应用潜力，尤其适用于需要在带宽受限的环境中传输高质量图像的场景，如视频会议、在线游戏和移动设备图像传输等。未来，该方法可能推动更高效的图像编码标准的发展，提升用户体验。
📄 摘要（原文）
Incorporating diffusion models in the image compression domain has the potential to produce realistic and detailed reconstructions, especially at extremely low bitrates. Previous methods focus on using diffusion models as expressive decoders robust to quantization errors in the conditioning signals, yet achieving competitive results in this manner requires costly training of the diffusion model and long inference times due to the iterative generative process. In this work we formulate the removal of quantization error as a denoising task, using diffusion to recover lost information in the transmitted image latent. Our approach allows us to perform less than 10% of the full diffusion generative process and requires no architectural changes to the diffusion model, enabling the use of foundation models as a strong prior without additional fine tuning of the backbone. Our proposed codec outperforms previous methods in quantitative realism metrics, and we verify that our reconstructions are qualitatively preferred by end users, even when other methods use twice the bitrate.