Animatable 3D Gaussians for High-fidelity Synthesis of Human Motions
作者: Keyang Ye, Tianjia Shao, Kun Zhou
分类: cs.CV, cs.GR
发布日期: 2023-11-22 (更新: 2023-11-27)
备注: Some experiment data is wrong. The expression of the paper in introduction and abstract is incorrect. Some graphs have inappropriate descriptions
💡 一句话要点
提出可动画的3D高斯模型以解决人类动作合成问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 3D高斯模型 人类动作合成 实时渲染 高保真度 深度学习
📋 核心要点
- 现有的基于NeRF的方法在合成高频细节时存在抖动问题，影响了人类动作的真实感和流畅性。
- 论文提出了一种增强的3D高斯表示，通过可学习的代码来修正外观错误，并引入alpha损失以专注于前景人类的学习。
- 实验结果显示，该模型在66帧每秒的速度下，合成效果明显优于现有的NeRF方法，提升了动作的真实感。
📝 摘要（中文）
我们提出了一种新颖的可动画3D高斯模型，用于实时渲染高保真度的人类自由视角动作。与现有的基于NeRF的方法相比，该模型在合成高频细节方面表现更佳，且解决了视频帧间的抖动问题。模型的核心是增强的3D高斯表示，每个高斯都附有可学习的代码，作为依赖于姿态的外观嵌入，修正因几何变换导致的外观错误。此外，我们设计了一种新颖的alpha损失，明确约束高斯仅学习前景人类，进一步优化人类关节参数以提高外观准确性。该模型可通过浅层MLP进行学习，能够实时合成新的人类动作（平均66帧每秒）。实验表明，我们的模型在性能上优于基于NeRF的方法。
🔬 方法详解
问题定义：本论文旨在解决现有基于NeRF的人类动作合成方法在高频细节合成和视频帧抖动方面的不足。现有方法在处理复杂动作时，往往无法保持动作的流畅性和真实感。
核心思路：我们提出了一种新颖的可动画3D高斯模型，核心在于为每个高斯分布附加可学习的代码，以此作为姿态依赖的外观嵌入，修正因几何变换导致的外观错误。通过这种方式，模型能够更好地捕捉和合成高频细节，避免抖动现象。
技术框架：该模型的整体架构包括增强的3D高斯表示、可学习的外观嵌入、alpha损失函数以及人类关节参数的联合优化。模型通过浅层多层感知机（MLP）进行训练，能够实时合成新的人类动作。
关键创新：最重要的创新点在于引入了可学习的代码和alpha损失函数，前者使得高斯能够更准确地表示姿态相关的外观，后者则确保模型专注于前景人类的学习，避免背景干扰。
关键设计：在损失函数设计上，alpha损失明确约束高斯分布的学习范围，确保其仅限于人类身体。此外，模型通过联合优化人类关节参数，进一步提升了外观的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的模型在合成速度上达到了平均66帧每秒，且在高频细节合成上显著优于现有的NeRF方法，展示了在真实感和流畅性方面的明显提升。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、动画制作和游戏开发等，能够为这些领域提供高保真度的人类动作合成技术。随着技术的进步，未来可能在实时交互和个性化动画生成方面发挥重要作用，提升用户体验和创作效率。
📄 摘要（原文）
We present a novel animatable 3D Gaussian model for rendering high-fidelity free-view human motions in real time. Compared to existing NeRF-based methods, the model owns better capability in synthesizing high-frequency details without the jittering problem across video frames. The core of our model is a novel augmented 3D Gaussian representation, which attaches each Gaussian with a learnable code. The learnable code serves as a pose-dependent appearance embedding for refining the erroneous appearance caused by geometric transformation of Gaussians, based on which an appearance refinement model is learned to produce residual Gaussian properties to match the appearance in target pose. To force the Gaussians to learn the foreground human only without background interference, we further design a novel alpha loss to explicitly constrain the Gaussians within the human body. We also propose to jointly optimize the human joint parameters to improve the appearance accuracy. The animatable 3D Gaussian model can be learned with shallow MLPs, so new human motions can be synthesized in real time (66 fps on avarage). Experiments show that our model has superior performance over NeRF-based methods.