Ex-Omni: Enabling 3D Facial Animation Generation for Omni-modal Large Language Models

📄 arXiv: 2602.07106 📥 PDF

作者: Haoyu Zhang, Zhipeng Li, Yiwen Guo, Tianshu Yu

分类: cs.CV, cs.AI, cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出Ex-Omni以解决多模态语言模型生成3D面部动画问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 3D面部动画 语音生成 音视频同步 深度学习 人机交互

📋 核心要点

  1. 现有的多模态大型语言模型在生成语音和3D面部动画时面临离散语义推理与密集时间动态之间的不匹配问题。
  2. 本文提出Ex-Omni，通过混合形状感知的语音单元生成器和解码器，解耦语义推理与时间生成。
  3. 实验结果显示，Ex-Omni在音视频同步和面部生成延迟方面优于传统级联方法，保持了良好的语音生成能力。

📝 摘要（中文）

多模态大型语言模型（OLLMs）旨在统一多模态理解与生成，但在联合生成语音和3D面部动画方面仍然存在较大挑战。主要问题在于LLMs的离散语义推理与3D面部运动所需的密集时间动态之间的不匹配。为此，本文提出了Expressive Omni（Ex-Omni），一个开源模型，通过混合形状感知的语音单元生成器和混合形状解码器，将语义推理与时间生成解耦。Ex-Omni利用语音单元提供时间支撑，隐藏的语音表示则携带与面部相关的线索。此外，本文还引入了统一的基于令牌的查询门控融合机制（TQGF），以及包含120万样本的InstructS2SF-1200K数据集用于预训练。实验表明，Ex-Omni在语音理解和生成能力上保持竞争力，同时在音视频同步和面部生成延迟方面优于级联管道。

🔬 方法详解

问题定义：本文旨在解决多模态大型语言模型在生成语音和3D面部动画时的时间动态与语义推理不匹配的问题。现有方法在音视频同步和生成延迟方面存在不足。

核心思路：Ex-Omni通过引入混合形状感知的语音单元生成器和解码器，将语义推理与时间生成解耦，从而实现更自然的面部动画生成。

技术框架：Ex-Omni的整体架构包括语音单元生成器、混合形状解码器和基于令牌的查询门控融合机制（TQGF），其中语音单元为面部动画提供时间支撑。

关键创新：Ex-Omni的主要创新在于将语音单元与面部动画生成解耦，并引入TQGF机制以实现语义的控制注入，这与现有的级联生成方法有本质区别。

关键设计：在模型设计中，采用了混合形状表示来捕捉面部表情的细微变化，并通过特定的损失函数优化音视频同步效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Ex-Omni在音视频同步方面的表现优于传统级联管道，面部生成延迟显著降低，且在语音理解和生成能力上保持竞争力。具体性能数据未提供，但实验表明其在多个指标上均有显著提升。

🎯 应用场景

Ex-Omni的研究成果可广泛应用于虚拟现实、游戏开发、在线教育和人机交互等领域。通过实现更自然的3D面部动画生成，该模型能够提升用户体验，促进人机交互的自然性与流畅性，具有重要的实际价值和潜在影响。

📄 摘要（原文）

Omni-modal large language models (OLLMs) aim to unify multimodal understanding and generation, yet extending them to jointly produce speech and 3D facial animation remains largely unexplored despite its importance for natural human-computer interaction. A key challenge is the mismatch between the discrete semantic reasoning of LLMs and the dense temporal dynamics required for 3D facial motion. We propose Expressive Omni (Ex-Omni), an open-source model that augments OLLMs with native speech-accompanied 3D facial animation. Ex-Omni decouples semantic reasoning from temporal generation through a blendshape-aware speech unit generator and a blendshape decoder, where speech units provide temporal scaffolding and hidden speech representations carry facially relevant cues. We further introduce a unified token-as-query gated fusion (TQGF) mechanism for controlled semantic injection, as well as InstructS2SF-1200K, a dataset consisting of 1200K samples for pre-training. Extensive experiments show that Ex-Omni maintains competitive speech understanding and generation ability while achieving better audio-visual synchronization and lower face-generation latency than cascaded pipelines.