Sharp-NeRF: Grid-based Fast Deblurring Neural Radiance Fields Using Sharpness Prior
作者: Byeonghyeon Lee, Howoong Lee, Usman Ali, Eunbyung Park
分类: cs.CV, cs.GR, eess.IV
发布日期: 2024-01-01
备注: Accepted to WACV 2024
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Sharp-NeRF以解决模糊图像的快速去模糊问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经辐射场 去模糊 图像处理 计算机视觉 深度学习 快速渲染 虚拟现实
📋 核心要点
- 现有的NeRF方法在处理模糊图像时，常常面临严重的视觉质量下降，尤其是在焦外模糊情况下。
- Sharp-NeRF通过引入网格基础的核，快速渲染清晰图像，显著减少了训练时间，提升了图像质量。
- 实验结果显示，Sharp-NeRF在清晰度和细节表现上优于现有方法，且训练时间缩短至半小时内。
📝 摘要（中文）
神经辐射场（NeRF）在基于神经渲染的新视图合成中表现出色。然而，当输入图像在不完美条件下捕获时，NeRF的视觉质量会严重下降，尤其是由于焦外模糊。尽管一些研究提出了高质量的清晰图像渲染方法，但仍面临许多挑战。本文提出了一种新技术Sharp-NeRF，一种基于网格的NeRF，能够在半小时内从模糊图像中渲染出清晰的图像。通过使用多个网格核，准确建模场景的清晰度/模糊度，计算像素的清晰度水平以学习空间变化的模糊核。实验结果表明，该方法在渲染清晰新视图时具有生动的色彩和细致的细节，训练时间显著快于以往方法。
🔬 方法详解
问题定义：本文旨在解决现有NeRF方法在处理模糊图像时的视觉质量下降问题，尤其是焦外模糊带来的挑战。现有方法通常依赖于多层感知机（MLP），计算时间长且效果有限。
核心思路：Sharp-NeRF通过引入网格基础的核来建模场景的清晰度和模糊度，利用空间变化的模糊核来提高图像的清晰度，从而在较短的训练时间内实现高质量渲染。
技术框架：Sharp-NeRF的整体架构包括多个网格核模块，负责对输入模糊图像进行处理和渲染。该方法通过计算每个像素的清晰度水平，动态调整模糊核，以实现更精确的图像重建。
关键创新：Sharp-NeRF的主要创新在于其网格基础的处理方式，与传统的MLP方法相比，显著提高了渲染速度和图像质量，尤其在处理模糊图像时表现出色。
关键设计：在设计中，Sharp-NeRF采用了空间变化的模糊核，结合特定的损失函数，以优化图像的清晰度和细节表现。具体的网络结构和参数设置在实验中经过调优，以确保最佳性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Sharp-NeRF在清晰度和细节表现上显著优于传统方法，训练时间缩短至半小时内。具体而言，Sharp-NeRF在多个基准测试中实现了更高的全参考和非参考指标，展示了其在模糊图像处理中的卓越性能。
🎯 应用场景
Sharp-NeRF的研究成果在计算机视觉、虚拟现实和增强现实等领域具有广泛的应用潜力。其能够快速处理模糊图像并生成高质量的清晰图像，能够提升用户体验，尤其在实时渲染和图像修复等场景中具有重要价值。未来，该技术可能会进一步推动图像处理和计算机视觉领域的发展。
📄 摘要（原文）
Neural Radiance Fields (NeRF) have shown remarkable performance in neural rendering-based novel view synthesis. However, NeRF suffers from severe visual quality degradation when the input images have been captured under imperfect conditions, such as poor illumination, defocus blurring, and lens aberrations. Especially, defocus blur is quite common in the images when they are normally captured using cameras. Although few recent studies have proposed to render sharp images of considerably high-quality, yet they still face many key challenges. In particular, those methods have employed a Multi-Layer Perceptron (MLP) based NeRF, which requires tremendous computational time. To overcome these shortcomings, this paper proposes a novel technique Sharp-NeRF -- a grid-based NeRF that renders clean and sharp images from the input blurry images within half an hour of training. To do so, we used several grid-based kernels to accurately model the sharpness/blurriness of the scene. The sharpness level of the pixels is computed to learn the spatially varying blur kernels. We have conducted experiments on the benchmarks consisting of blurry images and have evaluated full-reference and non-reference metrics. The qualitative and quantitative results have revealed that our approach renders the sharp novel views with vivid colors and fine details, and it has considerably faster training time than the previous works. Our project page is available at https://benhenryl.github.io/SharpNeRF/