Neural 3D Strokes: Creating Stylized 3D Scenes with Vectorized 3D Strokes
作者: Hao-Bin Duan, Miao Wang, Yan-Xun Li, Yong-Liang Yang
分类: cs.CV, cs.GR
发布日期: 2023-11-27 (更新: 2024-03-12)
备注: Accepted to CVPR 2024
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出神经3D笔触技术以生成风格化3D场景图像
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D场景生成 风格化 可微渲染 多视角重建 图像到绘画
📋 核心要点
- 现有方法在风格化3D场景时多集中于体素级别，缺乏对绘画过程的模拟，导致效果不够自然。
- 本研究提出了一种基于3D笔触的风格化方法，模拟人类的绘画过程，通过可微渲染器优化笔触参数。
- 实验结果显示，该方法在几何和美学风格化方面表现优异，且在不同视角下保持一致性，具有广泛的应用潜力。
📝 摘要（中文）
我们提出了神经3D笔触，一种新颖的技术，能够从多视角2D图像生成任意视角的3D场景风格化图像。与现有方法在体素级别对训练的神经辐射场进行风格化不同，我们的方案借鉴了图像到绘画的方法，模拟人类艺术创作的渐进绘画过程。我们开发了一套基于基本原始图形和样条的风格化3D笔触，并将3D场景风格化任务视为基于这些3D笔触原始图形的多视角重建过程。通过引入可微渲染器，我们能够使用梯度下降优化笔触参数，并提出了一种训练方案以缓解梯度消失问题。广泛的评估表明，我们的方法有效合成了具有显著几何和美学风格化的3D场景，同时在不同视角下保持一致的外观。
🔬 方法详解
问题定义：本论文旨在解决现有风格化方法在3D场景生成中的不足，尤其是在体素级别的风格化效果不够自然的问题。
核心思路：我们的方法借鉴了图像到绘画的技术，通过模拟人类艺术创作的过程，使用3D笔触来实现风格化，避免了直接搜索笔触参数的高成本。
技术框架：整体架构包括多视角2D图像输入、3D笔触生成模块、可微渲染器和优化流程。首先从2D图像中提取特征，然后生成3D笔触，最后通过可微渲染器进行参数优化。
关键创新：最重要的创新在于引入了可微渲染器，使得笔触参数可以通过梯度下降进行优化，这与传统方法的直接搜索方式有本质区别。
关键设计：我们设计了一套基于基本原始图形和样条的风格化3D笔触，并提出了一种训练方案以缓解梯度消失问题，确保了优化过程的稳定性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用神经3D笔触的方法在风格化效果上显著优于传统方法，能够合成出具有显著几何和美学风格化的3D场景。在不同视角下，生成的图像保持了一致的外观，展示了该方法的有效性和稳定性。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、动画制作和虚拟现实等，能够为3D场景的风格化提供新的创作工具。未来，该技术还可与图像风格损失和图像-文本对比模型结合，拓展其在颜色转移和文本驱动的3D场景绘制等方面的应用。
📄 摘要（原文）
We present Neural 3D Strokes, a novel technique to generate stylized images of a 3D scene at arbitrary novel views from multi-view 2D images. Different from existing methods which apply stylization to trained neural radiance fields at the voxel level, our approach draws inspiration from image-to-painting methods, simulating the progressive painting process of human artwork with vector strokes. We develop a palette of stylized 3D strokes from basic primitives and splines, and consider the 3D scene stylization task as a multi-view reconstruction process based on these 3D stroke primitives. Instead of directly searching for the parameters of these 3D strokes, which would be too costly, we introduce a differentiable renderer that allows optimizing stroke parameters using gradient descent, and propose a training scheme to alleviate the vanishing gradient issue. The extensive evaluation demonstrates that our approach effectively synthesizes 3D scenes with significant geometric and aesthetic stylization while maintaining a consistent appearance across different views. Our method can be further integrated with style loss and image-text contrastive models to extend its applications, including color transfer and text-driven 3D scene drawing. Results and code are available at http://buaavrcg.github.io/Neural3DStrokes.