EMOSH: Expressive Motion and Shape Disentanglement for Human Animation

📄 arXiv: 2606.28026v1 📥 PDF

作者: Dongbin Zhang, Hao Liu, Binquan Dai, Kangjie Chen, Chuming Wang, Chen Li, Jing Lyu, Haoqian Wang

分类: cs.CV

发布日期: 2026-06-26

备注: Accepted to ECCV 2026, Project Page: https://eastbeanzhang.github.io/EMOSH/

💡 一句话要点

提出EMOSH以解决人类动画中的运动与形状纠缠问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 人类动画 运动与形状解耦 表达性人类模型 高保真视频生成 运动跟踪器

📋 核心要点

  1. 现有方法在表现力与解耦之间存在矛盾，导致动画效果不理想。
  2. EMOSH通过引入表达性人类模型（EHM）和运动跟踪器，解决了形状泄漏问题。
  3. 实验结果显示，EMOSH在多种场景下均优于现有方法，生成高保真视频。

📝 摘要（中文）

高保真且可控的人类动画对于内容创作和数字化身应用至关重要。然而，现有方法在表现力与解耦之间面临困境。主流的2D姿态条件方法存在“运动-形状纠缠”问题，导致驱动主体的身体形状泄漏。相反，依赖3D先验（如SMPL）的方法虽然实现了几何解耦，但难以捕捉面部表情和复杂手势，导致动画僵硬。为此，本文提出EMOSH，一个新颖的高保真可控人类视频生成框架。通过引入表达性人类模型（EHM）并明确解耦形状与姿态参数，解决了身体形状泄漏问题。同时，设计了一个强大的运动跟踪器，准确估计EHM参数。实验表明，EMOSH在自驱动和交叉驱动场景中均优于现有方法，生成高保真且生动的表情视频，同时保持形状解耦。

🔬 方法详解

问题定义：本文旨在解决人类动画生成中的运动与形状纠缠问题。现有方法在表现力与几何解耦之间存在矛盾，导致生成的动画缺乏自然性和灵活性。

核心思路：EMOSH的核心思路是通过引入表达性人类模型（EHM），明确解耦形状与姿态参数，从而避免身体形状泄漏，同时保持丰富的表情和手势控制。

技术框架：EMOSH的整体架构包括两个主要模块：表达性人类模型（EHM）和运动跟踪器。EHM负责生成可控的动画参数，而运动跟踪器则从输入视频中准确估计这些参数。

关键创新：EMOSH的关键创新在于其明确的形状与姿态解耦设计，以及粗到细的混合运动注入策略，这使得动画生成既具表现力又保持几何一致性。

关键设计：在技术细节上，EMOSH采用了空间对齐条件机制，以缩小训练与推理之间的领域差距，并通过特定的损失函数优化EHM的参数估计，确保生成结果的身份一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EMOSH在自驱动和交叉驱动场景中均表现出色，生成的视频在表现力和形状解耦方面均优于现有方法。实验结果显示，EMOSH在多个基准测试中提升了生成视频的质量，具体性能数据尚未披露，但整体效果显著改善。

🎯 应用场景

EMOSH的研究成果在内容创作、游戏开发和虚拟现实等领域具有广泛的应用潜力。通过生成高保真的人类动画，能够提升数字化身的表现力和交互性，为用户提供更为沉浸的体验。未来，这项技术可能会在影视制作和社交媒体中发挥重要作用，推动数字内容的创新与发展。

📄 摘要（原文）

High-fidelity and expressive controllable human animation is essential for content creation and digital avatar applications. However, existing methods face a dilemma between expressiveness and disentanglement. Mainstream 2D pose-conditioned approaches suffer from "motion-shape entanglement", leading to the leakage of the driving subject's body shape. Conversely, methods relying on 3D priors (e.g., SMPL) achieve geometric disentanglement but struggle to capture facial expressions and complex gestures, resulting in rigid animations. To this end, we propose EMOSH, a novel framework for high-fidelity controllable human video generation. First, an Expressive Human Model (EHM) is introduced as the core control representation. By explicitly disentangling shape and pose parameters, we fundamentally resolve the body shape leakage issue. Alongside this, a robust motion tracker is designed to accurately estimate EHM parameters from video. Second, we propose a Coarse-to-Fine Hybrid Motion Injection strategy, enabling more fine-grained control over expressions and gestures. Furthermore, we introduce a Spatially-Aligned Conditioning mechanism to bridge the domain gap between training and inference, improving identity consistency. Extensive experiments demonstrate that EMOSH outperforms previous methods in both self-driven and cross-driven scenarios, producing high-fidelity videos with vivid expressions while maintaining shape disentanglement.