OccGaussian: 3D Gaussian Splatting for Occluded Human Rendering
作者: Jingrui Ye, Zongkai Zhang, Yujiao Jiang, Qingmin Liao, Wenming Yang, Zongqing Lu
分类: cs.CV
发布日期: 2024-04-12 (更新: 2025-02-20)
备注: We have decided to withdraw this paper because the results require further verification or additional experimental data. We plan to resubmit an updated version once the necessary work is completed
💡 一句话要点
提出OccGaussian以解决动态3D人类渲染中的遮挡问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D人类渲染 高斯点云 遮挡处理 实时渲染 虚拟现实 数字娱乐 NeRF
📋 核心要点
- 现有方法在处理动态3D人类渲染时，未能有效应对遮挡问题，导致渲染质量下降。
- 提出OccGaussian方法，通过3D高斯点云技术快速训练并高效渲染遮挡区域的人类模型。
- 实验结果显示，OccGaussian在遮挡处理上性能优于现有最先进的方法，且训练和推理速度显著提升。
📝 摘要（中文）
从单目视频渲染动态3D人类对于虚拟现实和数字娱乐等应用至关重要。现有方法通常假设场景无遮挡，然而现实中物体可能会遮挡身体部位。以往利用NeRF进行表面渲染的方法需要超过一天的训练时间和几秒的渲染时间，无法满足实时交互的需求。为了解决这些问题，我们提出了基于3D高斯点云的OccGaussian方法，该方法在6分钟内完成训练，并能以高达160 FPS的速度生成高质量的人类渲染。通过在标准空间初始化3D高斯分布，并在遮挡区域进行特征查询，提取聚合的像素对齐特征以补偿缺失信息。大量实验表明，我们的方法在模拟和真实世界的遮挡场景中表现出色，训练和推理速度分别提高了250倍和800倍。
🔬 方法详解
问题定义：论文旨在解决从单目视频渲染动态3D人类时的遮挡问题。现有方法如NeRF在处理遮挡时效率低下，训练和渲染时间过长，无法满足实时应用需求。
核心思路：OccGaussian通过3D高斯点云技术，快速初始化高斯分布，并在遮挡区域进行特征查询，以补偿缺失信息，从而实现高效渲染。
技术框架：整体架构包括初始化3D高斯分布、进行遮挡特征查询、提取聚合像素对齐特征，以及使用高斯特征MLP进行进一步处理，结合遮挡感知损失函数。
关键创新：最重要的创新在于将3D高斯点云与遮挡特征查询相结合，显著提高了渲染速度和质量，区别于传统方法的低效处理。
关键设计：在网络结构中，采用高斯特征MLP进行特征处理，并设计了针对遮挡区域的损失函数，以增强模型对遮挡的感知能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，OccGaussian在处理遮挡时的性能优于现有最先进的方法，训练速度提高了250倍，推理速度提升了800倍，能够以高达160 FPS的速度生成高质量渲染，满足实时交互的需求。
🎯 应用场景
该研究在虚拟现实、游戏开发和数字娱乐等领域具有广泛的应用潜力。通过快速高质量的人类渲染，能够提升用户体验，推动实时交互技术的发展，未来可能在影视制作和在线社交等场景中发挥重要作用。
📄 摘要（原文）
Rendering dynamic 3D human from monocular videos is crucial for various applications such as virtual reality and digital entertainment. Most methods assume the people is in an unobstructed scene, while various objects may cause the occlusion of body parts in real-life scenarios. Previous method utilizing NeRF for surface rendering to recover the occluded areas, but it requiring more than one day to train and several seconds to render, failing to meet the requirements of real-time interactive applications. To address these issues, we propose OccGaussian based on 3D Gaussian Splatting, which can be trained within 6 minutes and produces high-quality human renderings up to 160 FPS with occluded input. OccGaussian initializes 3D Gaussian distributions in the canonical space, and we perform occlusion feature query at occluded regions, the aggregated pixel-align feature is extracted to compensate for the missing information. Then we use Gaussian Feature MLP to further process the feature along with the occlusion-aware loss functions to better perceive the occluded area. Extensive experiments both in simulated and real-world occlusions, demonstrate that our method achieves comparable or even superior performance compared to the state-of-the-art method. And we improving training and inference speeds by 250x and 800x, respectively. Our code will be available for research purposes.