MISC: Ultra-low Bitrate Image Semantic Compression Driven by Large Multimodal Model

📄 arXiv: 2402.16749v3 📥 PDF

作者: Chunyi Li, Guo Lu, Donghui Feng, Haoning Wu, Zicheng Zhang, Xiaohong Liu, Guangtao Zhai, Weisi Lin, Wenjun Zhang

分类: cs.CV, cs.AI, eess.IV

发布日期: 2024-02-26 (更新: 2024-04-17)

备注: 13 page, 11 figures, 4 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出MISC以解决超低比特率图像压缩问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 超低比特率 图像压缩 多模态模型 语义信息 图像重建 AI生成图像 自然图像 存储与通信

📋 核心要点

  1. 现有的图像压缩算法在超低比特率下常常面临与真实图像一致性和感知质量之间的权衡问题。
  2. 本文提出的MISC方法通过引入大型多模态模型，能够有效提取图像语义信息并进行压缩，解决了传统方法的不足。
  3. 实验结果显示，MISC在压缩传统自然图像和AI生成图像时，能够实现50%的比特率节省，同时保持最佳的图像质量。

📝 摘要（中文）

随着存储和通信协议的发展，超低比特率图像压缩成为一个备受关注的话题。然而，现有的压缩算法在超低比特率下往往需要牺牲与真实图像的一致性或感知质量。近年来，大型多模态模型（LMM）的快速发展使得平衡这两个目标成为可能。本文提出了一种名为多模态图像语义压缩（MISC）的方法，利用LMM编码器提取图像的语义信息，地图编码器定位与语义对应的区域，图像编码器生成极度压缩的比特流，解码器基于上述信息重建图像。实验结果表明，MISC适用于压缩传统自然图像和新兴的AI生成图像，能够在节省50%比特率的同时实现最佳的一致性和感知效果，具有强大的潜在应用价值。

🔬 方法详解

问题定义：本文旨在解决超低比特率图像压缩中的一致性与感知质量之间的矛盾。现有方法在压缩过程中往往需要在这两者之间做出妥协，导致压缩效果不理想。

核心思路：MISC方法的核心在于利用大型多模态模型（LMM）来提取图像的语义信息，并通过多个编码器和解码器模块进行高效压缩与重建。这样的设计使得压缩过程能够更好地保留图像的语义特征。

技术框架：MISC的整体架构包括四个主要模块：LMM编码器用于提取图像语义信息，地图编码器用于定位语义对应区域，图像编码器生成极度压缩的比特流，解码器根据上述信息重建图像。

关键创新：MISC的主要创新在于结合了LMM的强大语义理解能力与图像压缩技术，能够在超低比特率下实现最佳的一致性与感知效果，这在现有方法中尚属首次。

关键设计：在设计中，MISC采用了特定的损失函数来平衡重建质量与压缩比，同时在网络结构上进行了优化，以适应不同类型图像的压缩需求。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，MISC在压缩传统自然图像和AI生成图像时，能够实现50%的比特率节省，同时在一致性和感知质量上达到最佳效果。这一性能显著优于现有的压缩算法，展示了其在实际应用中的强大潜力。

🎯 应用场景

MISC方法在存储和通信领域具有广泛的潜在应用，尤其是在需要高效图像传输和存储的场景中，如社交媒体、在线图像分享平台和智能设备等。其强大的压缩能力和优质的重建效果将推动下一代图像处理技术的发展。

📄 摘要（原文）

With the evolution of storage and communication protocols, ultra-low bitrate image compression has become a highly demanding topic. However, existing compression algorithms must sacrifice either consistency with the ground truth or perceptual quality at ultra-low bitrate. In recent years, the rapid development of the Large Multimodal Model (LMM) has made it possible to balance these two goals. To solve this problem, this paper proposes a method called Multimodal Image Semantic Compression (MISC), which consists of an LMM encoder for extracting the semantic information of the image, a map encoder to locate the region corresponding to the semantic, an image encoder generates an extremely compressed bitstream, and a decoder reconstructs the image based on the above information. Experimental results show that our proposed MISC is suitable for compressing both traditional Natural Sense Images (NSIs) and emerging AI-Generated Images (AIGIs) content. It can achieve optimal consistency and perception results while saving 50% bitrate, which has strong potential applications in the next generation of storage and communication. The code will be released on https://github.com/lcysyzxdxc/MISC.