Neural BSSRDF: Object Appearance Representation Including Heterogeneous Subsurface Scattering
作者: Thomson TG, Jeppe Revall Frisvad, Ravi Ramamoorthi, Henrik Wann Jensen
分类: cs.GR
发布日期: 2023-12-25
DOI: 10.1111/cgf.15234
💡 一句话要点
提出Neural BSSRDF，用于包含异质次表面散射的物体外观表示与高效渲染。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经渲染 BSSRDF 次表面散射 多层感知器 外观建模
📋 核心要点
- 传统BSSRDF模型难以有效表示真实世界物体复杂的几何形状和内部异质性，导致渲染质量受限。
- 提出Neural BSSRDF，利用MLP网络学习物体完整BSSRDF，考虑几何形状和异质性，实现全频率重光照。
- 实验表明，该方法能存储复杂材料，在未见光照下保持高精度，并能集成到现有渲染框架中实现交互式帧率。
📝 摘要（中文）
本文提出了一种紧凑而高效的神经方法，用于表示和渲染具有异质散射特性的半透明物体的外观。该神经表示函数类似于双向散射表面反射分布函数(BSSRDF)。然而，传统的BSSRDF模型假设平面半空间介质，并且只考虑材料的表面变化，这通常不能很好地表示真实物体的外观。我们的方法表示完整物体的BSSRDF，同时考虑其几何形状和异质性。这类似于神经辐射场，但我们的表示适用于任意远距离光照环境。在某种意义上，我们提出了一种神经预计算辐射传递的版本，可以捕获异质半透明物体的全频率重光照。我们使用带有跳跃连接的多层感知器(MLP)来表示物体外观，作为空间位置、观察方向和入射方向的函数。后者被认为是入射在物体非自阴影部分上的定向光。我们证明了我们的方法能够存储高度复杂的材料，并且在与代表物体在未见过的光照环境中的参考图像进行比较时具有很高的准确性。与折射界面后异质光散射体积的路径追踪相比，我们的方法更容易实现入射方向的重要性采样，并且可以集成到现有的渲染框架中，同时实现交互式帧速率。
🔬 方法详解
问题定义：传统BSSRDF模型通常假设物体是平面半空间介质，并且只考虑表面材质的变化，无法准确表示具有复杂几何形状和内部异质性的真实物体。使用路径追踪渲染此类物体计算成本高昂，尤其是在高动态范围光照环境下，内存和计算资源消耗巨大。
核心思路：论文的核心思路是使用神经网络（具体来说是多层感知器MLP）来学习和表示物体的完整BSSRDF。通过将空间位置、观察方向和入射方向作为MLP的输入，网络可以预测该位置在特定光照和观察条件下的外观。这种方法能够捕捉物体复杂的几何形状和内部异质性，从而实现更真实的渲染效果。
技术框架：该方法的核心是一个多层感知器（MLP），它以空间位置（x, y, z）、观察方向（θo, φo）和入射方向（θi, φi）作为输入。入射方向被视为照射在物体非自阴影部分上的定向光。MLP的输出是该位置在给定光照和观察条件下的外观信息。整个框架类似于神经辐射场（NeRF），但针对BSSRDF进行了优化，可以处理任意远距离光照环境。
关键创新：该方法的关键创新在于使用神经网络来表示完整的物体BSSRDF，从而能够同时考虑物体的几何形状和内部异质性。与传统的BSSRDF模型相比，该方法不再局限于平面半空间假设，可以更准确地表示真实物体的外观。此外，该方法还实现了全频率重光照，这意味着它可以处理各种复杂的光照条件。
关键设计：MLP网络使用了跳跃连接，这有助于网络学习更复杂的函数。损失函数用于比较渲染图像与参考图像之间的差异，通过优化网络参数来最小化这种差异。入射方向被视为照射在物体非自阴影部分上的定向光，这使得网络能够学习物体对不同光照条件的响应。具体参数设置和网络结构在论文中可能包含更详细的描述（未知）。
📊 实验亮点
该方法在存储复杂材料方面表现出色，并且在未见过的光照环境下，与参考图像相比具有很高的准确性。与传统的路径追踪方法相比，该方法更容易实现入射方向的重要性采样，并且可以集成到现有的渲染框架中，同时实现交互式帧速率。具体的性能数据和提升幅度需要在论文中查找（未知）。
🎯 应用场景
该研究成果可广泛应用于电影、游戏等领域的逼真渲染，尤其是在需要模拟半透明物体（如皮肤、玉石、蜡烛等）的场景中。通过高效地表示和渲染复杂材质，可以显著提升视觉效果，并降低渲染成本。此外，该方法还可以应用于产品设计和虚拟现实等领域，实现更真实的物体外观模拟。
📄 摘要（原文）
Monte Carlo rendering of translucent objects with heterogeneous scattering properties is often expensive both in terms of memory and computation. If we do path tracing and use a high dynamic range lighting environment, the rendering becomes computationally heavy. We propose a compact and efficient neural method for representing and rendering the appearance of heterogeneous translucent objects. The neural representation function resembles a bidirectional scattering-surface reflectance distribution function (BSSRDF). However, conventional BSSRDF models assume a planar half-space medium and only surface variation of the material, which is often not a good representation of the appearance of real-world objects. Our method represents the BSSRDF of a full object taking its geometry and heterogeneities into account. This is similar to a neural radiance field, but our representation works for an arbitrary distant lighting environment. In a sense, we present a version of neural precomputed radiance transfer that captures all-frequency relighting of heterogeneous translucent objects. We use a multi-layer perceptron (MLP) with skip connections to represent the appearance of an object as a function of spatial position, direction of observation, and direction of incidence. The latter is considered a directional light incident across the entire non-self-shadowed part of the object. We demonstrate the ability of our method to store highly complex materials while having high accuracy when comparing to reference images of the represented object in unseen lighting environments. As compared with path tracing of a heterogeneous light scattering volume behind a refractive interface, our method more easily enables importance sampling of the directions of incidence and can be integrated into existing rendering frameworks while achieving interactive frame rates.