MambaRaw: Selective State Space Modeling for Efficient 4K Raw Image Reconstruction

📄 arXiv: 2606.24479v1 📥 PDF

作者: Peize Li, Fanhu Zeng, Tongda Xu, Xingguo Xu, Xinjie Zhang, Xingtong Ge, Haotian Zhang, Yan Wang

分类: cs.CV

发布日期: 2026-06-23

备注: Accepted by ECCV 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出MambaRaw以解决高效4K原始图像重建问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 原始图像重建 状态空间模型 元数据处理 高效编码 计算机视觉

📋 核心要点

  1. 现有的元数据重建框架在高分辨率图像处理时计算开销大，限制了其实际应用。
  2. MambaRaw通过状态空间模型高效估计熵参数，并引入轻量级模块以提升重建效率。
  3. 在多个相机数据集上，MambaRaw在低元数据比特率下显著提高了PSNR，并减少了编码延迟。

📝 摘要（中文）

相机中的JPEG预览在原始图像格式中普遍存在，并以微不足道的存储成本提供sRGB参考。尽管现有的基于元数据的重建框架可以利用这些侧面信息来恢复原始图像，但其上下文模型在高分辨率（如4K原始图像）下往往计算开销巨大，尤其是注意力机制随着特征图的规模呈二次增长，限制了其实际应用。为了解决这些局限性，我们提出了MambaRaw，这是一种基于JPEG条件的元数据原始图像重建框架，利用状态空间模型（SSMs）高效估计熵参数。我们的关键贡献包括一种空间-能量耦合上下文建模机制，包含两个轻量级模块：TileMambaBlock和能量感知精炼（EAR）。在三个相机数据集（Sony、Olympus、Samsung）上的广泛实验表明，MambaRaw在强大的基线之上实现了一致的改进，并在JPEG引导的原始重建中设定了新的最优状态。

🔬 方法详解

问题定义：本论文旨在解决高分辨率（如4K）原始图像重建中的计算效率问题。现有方法在处理大规模特征图时，计算复杂度高，导致实际应用受限。

核心思路：MambaRaw通过引入状态空间模型（SSMs）来高效估计熵参数，并采用轻量级模块进行选择性扫描，从而提升重建效率和效果。

技术框架：MambaRaw框架主要包含两个模块：TileMambaBlock和能量感知精炼（EAR）。TileMambaBlock专注于信息密集的图块进行选择性扫描，而EAR则通过身份初始化的残差模块增强特征表示。

关键创新：MambaRaw的核心创新在于其空间-能量耦合上下文建模机制，显著降低了计算复杂度，同时保持了重建质量。这一设计与传统方法的根本区别在于其高效的特征选择和处理方式。

关键设计：在设计中，TileMambaBlock仅对信息密集的区域进行处理，EAR模块则通过调整特征表示以匹配原始信号的长尾能量分布，确保了高效且准确的图像重建。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MambaRaw在低元数据比特率下提高了PSNR值1.2至1.4 dB，并将端到端编码延迟减少约9%。这些结果在多个相机数据集上均表现出一致的改进，超越了现有的强基线，确立了新的最优状态。

🎯 应用场景

MambaRaw的研究成果在图像处理、计算机视觉和摄影等领域具有广泛的应用潜力。其高效的重建能力可用于实时图像处理和高质量图像生成，尤其适合于需要快速响应的应用场景，如移动设备和实时视频处理。未来，该技术可能推动更高效的图像编码和存储方案的发展。

📄 摘要（原文）

In-camera JPEG previews are ubiquitous in raw image formats and provide an sRGB reference at negligible storage cost. Although existing metadata-based reconstruction frameworks can exploit this side information when recovering raw images, their context models often become computationally expensive especially at high resolution, eg, 4K raw image, given that attention mechanisms scale quadratically with feature maps, hindering its practical application. To address these limitations, we propose MambaRaw, a JPEG-conditioned metadata-based raw image reconstruction framework that uses State Space Models (SSMs) to estimate entropy parameters efficiently. Our key contribution comprises a Spatial-Energy Coupled Context Modeling mechanism with two lightweight modules: (1) TileMambaBlock, which performs Mamba-style selective scanning only on information-dense tiles to improve the efficiency; and (2) Energy-Aware Refinement (EAR), an identity-initialized residual module that enhance feature representation to match the long-tail energy distribution of raw signals. Extensive experiments on three camera datasets (Sony, Olympus, Samsung) show consistent improvements over strong metadata-based baselines and set a new state of the art for JPEG-guided raw reconstruction with great efficiency. Notably, at low metadata bitrates, MambaRaw increases PSNR by 1.2--1.4 dB and reduces end-to-end coding latency by about 9%. Code is released at https://github.com/Peizeli1/MambaRaw.