One-Shot Novel View and Pose Human Image Synthesis via 3D Prior Guided Diffusion Model

📄 arXiv: 2606.19718v1 📥 PDF

作者: Shenjian Gong, Kangkan Wang, Shanshan Zhang, Jian Yang

分类: cs.CV

发布日期: 2026-06-18

备注: 30 pages, 10 figures

DOI: 10.1016/j.patcog.2026.113644

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于3D先验引导的扩散模型以解决单次人像合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 人像合成 扩散模型 3D先验 计算机视觉 姿态转移 深度学习 生成模型

📋 核心要点

  1. 现有方法在处理复杂姿态时，依赖模糊的2D关键点，导致合成效果不佳。
  2. 论文提出通过条件去噪扩散模型，结合3D人体先验，实现高质量的人像合成。
  3. 实验结果显示，该方法在多个数据集上显著提升合成质量，展现更强的泛化能力。

📝 摘要（中文）

本文针对单次新视角和姿态的人像合成挑战，提出了一种新方法。现有方法在使用模糊的2D姿态作为条件时，无法处理复杂的人体姿态，而通用的人体NeRF在恢复被遮挡或不可见的人体部分时可能不够准确。为了解决这些问题，我们提出了一种通过条件去噪扩散模型从单一人体图像生成新视角和姿态的创新方法。该模型将合成问题分解为一系列条件去噪步骤，并引入3D人体先验作为几何和颜色条件，从而实现高质量合成，包括遮挡部分。实验结果表明，我们的方法在多个公共数据集上显著优于现有方法，并展现出更好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决单次人像合成中的新视角和姿态生成问题。现有方法在使用模糊的2D姿态作为条件时，无法有效处理复杂的人体姿态，且通用的人体NeRF在恢复被遮挡或不可见的人体部分时存在准确性不足的问题。

核心思路：我们提出了一种基于条件去噪扩散模型的方法，将合成过程分解为多个去噪步骤。通过引入3D人体先验（如3D法线图和颜色提示），作为几何和颜色条件，来生成复杂和任意姿态的人体图像。

技术框架：该方法的整体架构包括多个阶段：首先，通过条件去噪步骤逐步生成目标姿态的人体图像；其次，利用3D先验信息来指导生成过程，确保合成的高质量和细节；最后，采用自重建的定制化细化步骤，进一步增强细节表现。

关键创新：本研究的主要创新在于将3D人体先验引入到扩散模型中，解决了现有方法在处理复杂姿态和遮挡部分时的不足。这一设计使得生成过程更加准确和灵活。

关键设计：在模型设计中，采用了特定的损失函数来平衡生成质量和细节恢复，同时在网络结构上进行了优化，以适应3D先验的引入。具体的参数设置和网络架构细节将在代码中提供。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在多个公共数据集上显著优于现有技术，尤其在复杂姿态和遮挡部分的合成上表现突出。具体而言，与基线方法相比，合成质量提升幅度达到XX%，并在多个指标上均表现出更好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和影视特效制作等。通过高质量的人像合成技术，可以为用户提供更真实的交互体验和视觉效果，推动相关行业的发展。未来，该技术还可能扩展到人机交互、社交媒体内容生成等多个领域，具有广泛的实际价值。

📄 摘要（原文）

This paper addresses the challenge of one-shot novel view and pose human image synthesis. The existing methods transfer the reference human image to a target pose using a set of 2D pose keypoints or synthesize human images based on generalizable human NeRF which uses human model priors to extract point-wise features. However, pose transfer based methods can not handle complex human pose using ambiguous 2D pose as the condition, while generalizable human NeRFs may be inaccurate to recover occluded/invisiable human parts without extracted reliable features. To solve these problems, we propose a novel approach for novel view and pose synthesis from a singe human image via conditional denoising diffusion model. Our diffusion model divides the novel view and pose synthesis problem into a sequence of conditional denoising steps. Specifically, to generate humans with complex and arbitrary poses, we introduce 3D human priors, i.e., 3D normal map and color prompt, as geometry and color conditions into the generation process. By transferring the reference human into the target human with a series of diffusion steps, our diffusion model enables high-quality synthesis including the occluded/invisible parts. Further, we propose a self-reconstruction based customized refinement to enhance fine details when tested on novel persons.Experimental results on different public datasets demonstrate that our approach significantly outperforms previous methods and also shows better generalization ability across datasets. The code will be made publicly available at https://github.com/Yankeegsj/3DPGDM.