Implicit Neural Representation of Tileable Material Textures

📄 arXiv: 2402.02208v1 📥 PDF

作者: Hallison Paz, Tiago Novello, Luiz Velho

分类: cs.CV, cs.GR, cs.LG

发布日期: 2024-02-03

💡 一句话要点

提出隐式神经网络表示可平铺材质纹理以解决高分辨率重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 隐式神经表示 正弦神经网络 傅里叶级数 可平铺纹理 高分辨率重建 计算机图形学 视觉效果

📋 核心要点

  1. 现有方法在高分辨率纹理重建中面临效率低和插值需求的问题，难以实现高质量的可平铺纹理表示。
  2. 论文提出了一种基于正弦神经网络的隐式表示方法，通过傅里叶级数初始化网络层，直接生成可平铺的周期性纹理。
  3. 实验结果表明，该方法在高分辨率纹理重建中实现了高视觉保真度和清晰度，且在多个细节层次上表现优异。

📝 摘要（中文）

本文探讨了使用正弦神经网络表示周期性可平铺纹理的方法。我们通过用整数频率初始化正弦神经网络的第一层，利用傅里叶级数证明了正弦层的组合仅生成周期为P的整数频率。该网络能够在任意空间坐标上直接评估周期性模式，无需插值。为确保生成的模式可平铺，我们在损失函数中添加了基于泊松方程的正则化项。所提出的隐式神经表示紧凑且高效，能够在多个细节层次上重建高分辨率纹理，具有高视觉保真度和清晰度。我们展示了该方法在抗锯齿表面领域的应用。

🔬 方法详解

问题定义：本文旨在解决高分辨率可平铺材质纹理的表示与重建问题。现有方法通常需要插值，导致效率低下和视觉质量下降。

核心思路：我们提出利用正弦神经网络，通过傅里叶级数初始化网络层，生成周期性纹理的连续表示，从而实现高效的纹理重建。

技术框架：整体架构包括正弦神经网络的构建、傅里叶级数的应用以及损失函数的设计。主要模块包括正弦层的组合和泊松方程正则化。

关键创新：本研究的核心创新在于通过正弦层组合生成仅包含整数频率的纹理表示，避免了传统方法中的插值需求，提升了重建效率和质量。

关键设计：我们在损失函数中引入了基于泊松方程的正则化项，以确保生成的纹理可平铺。此外，网络结构的设计使得在任意空间坐标上都能直接评估纹理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的方法在高分辨率纹理重建中相比于传统方法提升了视觉保真度和清晰度，具体性能数据表明在多个细节层次上均表现优异，且重建速度显著提高，验证了方法的有效性。

🎯 应用场景

该研究在计算机图形学和视觉效果领域具有广泛的应用潜力，尤其是在游戏开发、电影特效和虚拟现实中。通过高效重建高分辨率纹理，能够显著提升视觉效果和用户体验，未来可能推动更多实时渲染技术的发展。

📄 摘要（原文）

We explore sinusoidal neural networks to represent periodic tileable textures. Our approach leverages the Fourier series by initializing the first layer of a sinusoidal neural network with integer frequencies with a period $P$. We prove that the compositions of sinusoidal layers generate only integer frequencies with period $P$. As a result, our network learns a continuous representation of a periodic pattern, enabling direct evaluation at any spatial coordinate without the need for interpolation. To enforce the resulting pattern to be tileable, we add a regularization term, based on the Poisson equation, to the loss function. Our proposed neural implicit representation is compact and enables efficient reconstruction of high-resolution textures with high visual fidelity and sharpness across multiple levels of detail. We present applications of our approach in the domain of anti-aliased surface.