FPRF: Feed-Forward Photorealistic Style Transfer of Large-Scale 3D Neural Radiance Fields

📄 arXiv: 2401.05516v1 📥 PDF

作者: GeonU Kim, Kim Youwang, Tae-Hyun Oh

分类: cs.CV, cs.AI, cs.GR

发布日期: 2024-01-10

备注: Project page: https://kim-geonu.github.io/FPRF/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出FPRF以解决大规模3D场景风格迁移问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D风格迁移 神经辐射场 光写实渲染 多视图一致性 AdaIN 计算机视觉 虚拟现实

📋 核心要点

  1. 现有方法在大规模3D场景风格迁移中面临优化繁琐和小规模限制的问题。
  2. FPRF通过风格分解的3D神经辐射场实现了高效的风格迁移，支持任意多个风格参考图像。
  3. 实验结果表明，FPRF在大规模场景中实现了优异的光写实风格化效果，具有较高的多视图一致性。

📝 摘要（中文）

我们提出了FPRF，一种用于大规模3D神经辐射场的前馈光写实风格迁移方法。FPRF能够在不进行额外优化的情况下，利用任意多个风格参考图像对大规模3D场景进行风格化，同时保持多视图外观一致性。以往的方法需要繁琐的每种风格或场景的优化，且仅限于小规模3D场景。FPRF通过引入风格分解的3D神经辐射场，继承了AdaIN的前馈风格化机制，支持任意风格参考图像。此外，FPRF通过语义对应匹配和局部AdaIN支持多参考风格化，为3D场景风格提供了多样的用户控制。FPRF还通过直接在3D空间中查询特征上应用语义匹配和风格迁移过程，保持了多视图一致性。实验表明，FPRF在大规模场景中实现了优良的光写实质量3D场景风格化。

🔬 方法详解

问题定义：本论文旨在解决大规模3D场景的光写实风格迁移问题。现有方法通常需要针对每种风格或场景进行繁琐的优化，且仅限于小规模3D场景，无法满足实际应用需求。

核心思路：FPRF的核心思路是引入风格分解的3D神经辐射场，利用AdaIN的前馈风格化机制，支持任意多个风格参考图像，从而实现高效的风格迁移。

技术框架：FPRF的整体架构包括风格分解模块、语义匹配模块和局部AdaIN模块。风格分解模块负责将输入场景与风格参考图像进行分解，语义匹配模块确保不同视角之间的一致性，而局部AdaIN模块则实现具体的风格迁移。

关键创新：FPRF的主要创新在于其风格分解的3D神经辐射场设计，使得风格迁移过程无需额外优化，且支持多样化的风格参考图像。这一设计与传统方法的本质区别在于其高效性和灵活性。

关键设计：FPRF采用了局部AdaIN技术来增强风格迁移的灵活性，并通过语义匹配确保多视图的一致性。具体的损失函数设计和网络结构细节在论文中进行了详细描述，以优化风格迁移效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FPRF在大规模3D场景风格化中实现了优良的光写实效果，尤其在多视图一致性方面表现突出。与传统方法相比，FPRF在风格迁移速度上有显著提升，且支持多达十种不同风格参考图像的同时处理，展现了其强大的灵活性和实用性。

🎯 应用场景

该研究在计算机视觉、游戏开发、虚拟现实等领域具有广泛的应用潜力。FPRF能够为3D场景提供高质量的风格迁移，提升用户体验，促进创意产业的发展。未来，FPRF的技术可以扩展到实时渲染和交互式应用中，进一步增强其实际价值。

📄 摘要（原文）

We present FPRF, a feed-forward photorealistic style transfer method for large-scale 3D neural radiance fields. FPRF stylizes large-scale 3D scenes with arbitrary, multiple style reference images without additional optimization while preserving multi-view appearance consistency. Prior arts required tedious per-style/-scene optimization and were limited to small-scale 3D scenes. FPRF efficiently stylizes large-scale 3D scenes by introducing a style-decomposed 3D neural radiance field, which inherits AdaIN's feed-forward stylization machinery, supporting arbitrary style reference images. Furthermore, FPRF supports multi-reference stylization with the semantic correspondence matching and local AdaIN, which adds diverse user control for 3D scene styles. FPRF also preserves multi-view consistency by applying semantic matching and style transfer processes directly onto queried features in 3D space. In experiments, we demonstrate that FPRF achieves favorable photorealistic quality 3D scene stylization for large-scale scenes with diverse reference images. Project page: https://kim-geonu.github.io/FPRF/