HUGS: Human Gaussian Splats
作者: Muhammed Kocabas, Jen-Hao Rick Chang, James Gabriel, Oncel Tuzel, Anurag Ranjan
分类: cs.CV, cs.GR
发布日期: 2023-11-29
🔗 代码/项目: GITHUB
💡 一句话要点
提出HUGS以解决动态人类建模问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 动态人类建模 神经渲染 3D高斯点云 单目视频 动画合成 虚拟现实 计算机视觉
📋 核心要点
- 现有神经渲染方法主要针对静态场景，无法有效处理动态人类的建模与渲染。
- 本文提出HUGS方法，通过3D高斯点云表示动态人类与场景，利用单目视频进行自动分离。
- 实验结果显示，HUGS在渲染质量上达到最先进水平，且训练速度提升约100倍，渲染速度为60 FPS。
📝 摘要（中文）
近年来，神经渲染的进展显著提高了训练和渲染速度。然而，现有方法主要针对静态场景的摄影测量，无法有效处理自由移动的人类。本文提出了人类高斯点（HUGS），通过3D高斯点云表示可动画的人类及其场景。该方法仅需50-100帧的单目视频，能够在30分钟内自动分离静态场景与可动画的人类头像。我们利用SMPL人体模型初始化高斯，并允许高斯偏离人体模型以捕捉细节。通过联合优化线性混合蒙皮权重，协调高斯的运动，最终实现了60 FPS的渲染速度，训练速度比以往方法快约100倍。
🔬 方法详解
问题定义：现有的神经渲染方法在处理动态人类时存在显著不足，无法有效分离动态人类与静态场景，导致渲染效果不佳。
核心思路：HUGS方法通过3D高斯点云表示动态人类及其场景，利用单目视频进行自动学习，能够快速分离并渲染动态人类。
技术框架：该方法包括数据输入、初始化SMPL模型、3D高斯点云生成、运动协调优化等主要模块，整体流程高效且自动化。
关键创新：HUGS的核心创新在于使用3D高斯点云表示动态人类，并通过优化线性混合蒙皮权重来解决高斯点在动画中的伪影问题，与传统方法相比具有更高的灵活性和表现力。
关键设计：在参数设置上，采用SMPL模型初始化高斯，损失函数设计用于优化高斯的运动协调，网络结构则支持高效的动态渲染与分离。
🖼️ 关键图片
📊 实验亮点
HUGS在实验中实现了60 FPS的渲染速度，训练速度比以往方法快约100倍，且在渲染质量上达到了最先进水平。这些结果表明该方法在动态人类建模与渲染方面的显著优势。
🎯 应用场景
HUGS方法在虚拟现实、游戏开发、动画制作等领域具有广泛的应用潜力。通过高效的动态人类建模与渲染，能够提升用户体验，并推动相关技术的发展。未来，该方法还可能应用于人机交互、影视特效等更广泛的场景。
📄 摘要（原文）
Recent advances in neural rendering have improved both training and rendering times by orders of magnitude. While these methods demonstrate state-of-the-art quality and speed, they are designed for photogrammetry of static scenes and do not generalize well to freely moving humans in the environment. In this work, we introduce Human Gaussian Splats (HUGS) that represents an animatable human together with the scene using 3D Gaussian Splatting (3DGS). Our method takes only a monocular video with a small number of (50-100) frames, and it automatically learns to disentangle the static scene and a fully animatable human avatar within 30 minutes. We utilize the SMPL body model to initialize the human Gaussians. To capture details that are not modeled by SMPL (e.g. cloth, hairs), we allow the 3D Gaussians to deviate from the human body model. Utilizing 3D Gaussians for animated humans brings new challenges, including the artifacts created when articulating the Gaussians. We propose to jointly optimize the linear blend skinning weights to coordinate the movements of individual Gaussians during animation. Our approach enables novel-pose synthesis of human and novel view synthesis of both the human and the scene. We achieve state-of-the-art rendering quality with a rendering speed of 60 FPS while being ~100x faster to train over previous work. Our code will be announced here: https://github.com/apple/ml-hugs