VISAGE: Vertex-based Intrinsic Surface Appearance GEneration via Dual-Stream Diffusion for Arbitrary 3D Heads

📄 arXiv: 2611.04712v1 📥 PDF

作者: Jeremias Krauß, Pragati Jaiswal, René Schuster, Didier Stricker

分类: cs.CV

发布日期: 2026-11-03

💡 一句话要点

提出VISAGE以解决3D人头表面外观生成问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 3D人头建模 条件扩散 表面外观合成 计算机视觉 深度学习

📋 核心要点

  1. 现有方法在从稀疏图像恢复3D人头表面外观时，常常面临接缝伪影和表面一致性不足的问题。
  2. VISAGE通过条件扩散框架直接在任意网格拓扑上合成顶点反射率和粗糙度，避免了UV参数化的限制。
  3. 在NPHM数据集上，VISAGE将FID降低了42.7%，在零-shot FaceVerse和i3DMM上分别降低了22.5%和4.4%。

📝 摘要（中文）

从稀疏图像中恢复具有身份忠实性和物理基础的3D人头表面外观仍然具有挑战性。现有方法通常依赖于基于UV的流程，导致接缝伪影，或在图像空间中操作，限制了表面一致性。我们提出了VISAGE（基于顶点的内在表面外观生成），这是一个基于表面的条件扩散框架，能够直接在任意网格拓扑上合成每个顶点的反射率和粗糙度，而无需在训练时进行一致的UV参数化。VISAGE结合了全局光谱处理与局部测地K近邻细化，确保结构一致性，同时恢复超出截断光谱基的细节。多视角RGB图像通过可见性感知的交叉注意力来调节网络，使得在整个头部表面上能够进行抗遮挡合成。特定区域模块专注于语义要求高且不同的区域（眼睛、嘴巴、皮肤和头发），而切线空间输出投影则恢复细致的虹膜细节。我们还引入了一个可扩展的程序增强管道，为训练丰富原始几何扫描的物理合理的反射率、粗糙度和法线图。预测的属性直接作为单个RGBA顶点颜色通道进行渲染。

🔬 方法详解

问题定义：本论文旨在解决从稀疏图像中恢复3D人头表面外观的挑战，现有方法常常依赖于UV参数化，导致接缝伪影和表面一致性不足的问题。

核心思路：VISAGE提出了一种基于顶点的条件扩散框架，能够在任意网格拓扑上合成每个顶点的反射率和粗糙度，避免了对UV参数化的依赖，从而提高了表面一致性和细节恢复能力。

技术框架：VISAGE的整体架构包括全局光谱处理模块和局部测地K近邻细化模块，结合多视角RGB图像的可见性感知交叉注意力，确保在整个头部表面上进行抗遮挡合成。特定区域模块则针对不同的面部区域进行优化。

关键创新：VISAGE的主要创新在于其无UV参数化的顶点级别合成方法，结合了全局和局部处理，确保了结构一致性和细节恢复，显著区别于传统的UV基础方法。

关键设计：在网络设计中，采用了7.2M参数的核心网络，结合了特定区域模块和切线空间输出投影，以恢复细致的虹膜细节，同时引入了可扩展的程序增强管道，丰富了训练数据的物理合理性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，VISAGE在NPHM数据集上将FID降低了42.7%，在零-shot FaceVerse和i3DMM上分别降低了22.5%和4.4%。这些结果表明，VISAGE在生成高质量3D人头表面外观方面显著优于现有最强基线。

🎯 应用场景

该研究在计算机视觉和图形学领域具有广泛的应用潜力，尤其是在虚拟现实、游戏开发和数字人类建模等领域。通过提供高质量的3D人头表面外观生成，VISAGE能够提升用户体验和视觉真实感，推动相关技术的进一步发展。

📄 摘要（原文）

Recovering identity-faithful, physically based surface appearance for 3D human heads from sparse images remains challenging. Existing methods often rely on UV-based pipelines, introducing seam artefacts, or operate in image space, limiting surface consistency. We present VISAGE, Vertex-based Intrinsic Surface Appearance GEneration, a surface-based conditional diffusion framework that synthesises per-vertex albedo and roughness directly on arbitrary mesh topologies, without requiring consistent UV parameterisation at training time. VISAGE combines global spectral processing with local geodesic K-Nearest-Neighbour refinement, enforcing structural coherence while restoring detail beyond the truncated spectral basis. Multi-view RGB images condition the network via visibility-aware cross-attention, enabling occlusion-robust synthesis across the full head surface. Region-specific modules specialise in semantically demanding and distinct areas (eyes, mouth, skin and hair), while a tangent-space output projection recovers fine iris detail. We further introduce a scalable procedural augmentation pipeline that enriches raw geometry scans with physically plausible albedo, roughness and normal maps for training. The predicted attributes render directly as a single RGBA vertex-colour channel. VISAGE reduces FID by 42.7% on NPHM and 22.5% and 4.4% on zero-shot FaceVerse and i3DMM, respectively, relative to the strongest baseline, with a 7.2M-parameter core network.