LUNA: Learning Universal 3D Human Animation Beyond Skinning

📄 arXiv: 2606.31981v1 📥 PDF

作者: Peng Li, Rawal Khirodkar, Junxuan Li, Yuan Dong, Chen Cao, Yuan Liu, Wenhan Luo, Yike Guo, Shunsuke Saito

分类: cs.CV, cs.AI

发布日期: 2026-06-30

备注: ECCV 2026, Project page: https://penghtyx.github.io/LUNA/

💡 一句话要点

提出LUNA以解决单目图像生成3D人类动画的局限性

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 3D人类动画 线性混合蒙皮 变换器模型 混合监督 视觉保真度 跨身份泛化 高斯变形

📋 核心要点

  1. 现有方法依赖于线性混合蒙皮（LBS）和参数化模型，限制了3D人类动画的表现力并引入伪影。
  2. LUNA模型通过直接将多种2D控制映射为3D高斯变形，避免了显式的身体拟合，采用变换器结构分离全局和局部运动。
  3. 实验结果表明，LUNA在视觉保真度上与LBS方法相当，同时在多种驱动模式下实现了零-shot跨身份泛化。

📝 摘要（中文）

创建逼真且可动画的3D人类头像仍然依赖于线性混合蒙皮（LBS）和参数化身体模型，这限制了表现力并常常因拟合不完美而引入伪影。我们提出LUNA，这是一种无LBS的通用神经动画模型，直接将多种2D控制（如图像、关键点、草图和未见角色）映射为3D高斯变形，绕过显式身体拟合。核心是基于变换器的运动回归器，能够将全局刚性运动与细粒度局部动态分离，以捕捉一致的运动和微妙的非刚性效果。为了解决2D到3D提升的固有模糊性，同时扩展超出拟合数据集，我们引入混合监督，从LBS教师中提取软结构先验，并支持在有限的拟合数据和大量未标记视频上进行训练。大量实验表明，LUNA在视觉保真度上与基于LBS的方法具有竞争力，同时提供逼真的人类运动和跨身份的零-shot泛化能力。

🔬 方法详解

问题定义：本论文旨在解决从单目图像生成3D人类动画时，现有方法依赖LBS和参数化模型所带来的表现力不足和伪影问题。

核心思路：LUNA通过直接将多种2D输入（如图像、关键点等）映射为3D高斯变形，避免了传统方法中的显式身体拟合，采用变换器结构来分离全局和局部运动。

技术框架：LUNA的整体架构包括一个变换器基础的运动回归器，负责提取全局刚性运动和细粒度局部动态，并结合混合监督机制来处理2D到3D的模糊性。

关键创新：LUNA是首个支持隐式2D驱动的端到端3D可动画模型，突破了传统LBS方法的限制，提供了更高的表现力和灵活性。

关键设计：模型采用混合监督策略，从LBS教师中提取软结构先验，损失函数设计支持在有限的拟合数据和大量未标记视频上进行训练，确保了模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LUNA在视觉保真度上与传统LBS方法相当，且在多种驱动模式下实现了零-shot跨身份泛化，显示出其强大的适应性和灵活性。实验结果表明，LUNA在处理未标记视频时的表现显著优于现有方法，展示了其在实际应用中的潜力。

🎯 应用场景

LUNA的研究成果在游戏开发、虚拟现实、动画制作等领域具有广泛应用潜力。通过生成高质量的3D人类动画，能够提升用户体验和交互性，推动相关产业的发展。未来，LUNA可能在实时动画生成和个性化虚拟角色创建中发挥重要作用。

📄 摘要（原文）

Creating photorealistic, animatable 3D human avatars from monocular images still largely depends on Linear Blend Skinning (LBS) and parametric body models, which constrain expressivity and often introduce artifacts due to imperfect fitting. We propose LUNA, an LBS-free universal neural animation model that directly maps multiple 2D controls like images, keypoints, sketches, and unseen characters into 3D Gaussian deformations, bypassing explicit body fitting. At its core, a transformer-based motion regressor disentangles global rigid motion from fine-grained local dynamics to capture both coherent movement and subtle non-rigid effects. To resolve the inherent ambiguity of 2D-to-3D lifting while scaling beyond fitted datasets, we introduce hybrid supervision that distills soft structural priors from an LBS teacher and a loss that supports training on both limited fitted data and large in-the-wild unlabeled videos. Extensive experiments show LUNA achieves competitive visual fidelity compared to LBS-based approaches, while delivering realistic human motion and zero-shot cross-identity generalization across diverse driving modalities. To the best of our knowledge, LUNA is the first end-to-end 3D animatable model that supports implicit 2D driving.