WB LUTs: Contrastive Learning for White Balancing Lookup Tables

📄 arXiv: 2404.10133v1 📥 PDF

作者: Sai Kumar Reddy Manne, Michael Wan

分类: cs.CV

发布日期: 2024-04-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出WB LUTs以解决自动白平衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动白平衡 图像处理 深度学习 对比学习 查找表 实时性能 颜色校正

📋 核心要点

  1. 现有方法在后期捕获的白平衡校正中存在低分辨率输出的瓶颈，影响了实时性能。
  2. 论文提出了一种基于3D LUT的白平衡校正模型WB LUTs，结合对比学习和困难样本挖掘策略。
  3. 实验结果显示，WB LUTs在两个基准数据集上性能优越，校正质量提高25.5%，速度快300倍，内存使用减少12.7倍。

📝 摘要（中文）

自动白平衡（AWB）是集成信号处理（ISP）管道中的第一步，旨在纠正场景照明引起的色彩偏差。错误的白平衡设置或AWB失败可能导致渲染的sRGB图像出现不必要的蓝色或红色色调。为了解决这一问题，最近的方法将后期捕获的白平衡校正问题视为图像到图像的转换任务，并训练深度神经网络在较低分辨率下学习必要的颜色调整。这些低分辨率输出经过后处理生成高分辨率的白平衡校正图像，形成了端到端运行时间的瓶颈。本文提出了一种基于3D查找表（LUT）的白平衡校正模型WB LUTs，能够实时生成高分辨率输出。我们引入了一种对比学习框架和新颖的困难样本挖掘策略，使基线3D LUT的白平衡校正质量提高了25.5%。实验结果表明，所提出的WB LUTs在两个基准数据集上与最先进的模型竞争，同时速度快300倍，内存使用减少12.7倍。

🔬 方法详解

问题定义：本文旨在解决自动白平衡（AWB）中存在的低分辨率输出问题，现有方法在后期处理时导致性能瓶颈，影响实时应用。

核心思路：提出的WB LUTs模型通过3D查找表实现高分辨率的白平衡校正，结合对比学习框架和困难样本挖掘策略，提升了校正质量。

技术框架：整体架构包括输入图像的预处理、3D LUT生成、对比学习模块和最终的高分辨率输出生成，确保实时性能和高质量校正。

关键创新：最重要的创新在于引入对比学习和困难样本挖掘策略，使得模型在训练过程中能够更有效地学习复杂的颜色调整，从而显著提高了校正效果。

关键设计：模型设计中采用了特定的损失函数以优化颜色调整效果，并在网络结构上进行了优化，以减少内存使用和提高计算效率。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WB LUTs在两个基准数据集上表现优异，校正质量提高了25.5%。此外，该模型在速度上快300倍，内存使用减少12.7倍，显示出其在实时应用中的巨大优势。

🎯 应用场景

该研究的潜在应用领域包括摄影、视频制作、实时图像处理等，能够有效提升图像质量和用户体验。未来，WB LUTs有望在移动设备和嵌入式系统中广泛应用，推动智能相机和图像处理软件的发展。

📄 摘要（原文）

Automatic white balancing (AWB), one of the first steps in an integrated signal processing (ISP) pipeline, aims to correct the color cast induced by the scene illuminant. An incorrect white balance (WB) setting or AWB failure can lead to an undesired blue or red tint in the rendered sRGB image. To address this, recent methods pose the post-capture WB correction problem as an image-to-image translation task and train deep neural networks to learn the necessary color adjustments at a lower resolution. These low resolution outputs are post-processed to generate high resolution WB corrected images, forming a bottleneck in the end-to-end run time. In this paper we present a 3D Lookup Table (LUT) based WB correction model called WB LUTs that can generate high resolution outputs in real time. We introduce a contrastive learning framework with a novel hard sample mining strategy, which improves the WB correction quality of baseline 3D LUTs by 25.5%. Experimental results demonstrate that the proposed WB LUTs perform competitively against state-of-the-art models on two benchmark datasets while being 300 times faster using 12.7 times less memory. Our model and code are available at https://github.com/skrmanne/3DLUT_sRGB_WB.