FiCA: Feed-forward instant Gaussian Codec Avatars from a Single Portrait Image
作者: Kim Youwang, Zhengyu Yang, Liuhao Ge, Yu Rong, Timur Bagautdinov, Su Zhaoen, Nir Sopher, Jovan Popović, Teng Deng, Tae-Hyun Oh, Chen Cao
分类: cs.CV, cs.GR
发布日期: 2026-06-23
备注: Project page: https://kim-youwang.github.io/FiCA
💡 一句话要点
提出FiCA以解决单张肖像生成逼真头像的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 头像生成 高斯编解码 三维重建 扩散模型 虚拟现实
📋 核心要点
- 现有方法在仅依赖单张肖像图像生成逼真头像时，面临着信息不足和三维重建困难的挑战。
- 论文提出了一种结合人类视觉基础模型与扩散模型的系统，能够从有限的视觉信息中生成高质量的三维头像。
- 实验结果显示，FiCA生成的头像在多样性和视觉质量上超越了现有的竞争方法，表现出更好的身份保留能力。
📝 摘要（中文）
我们介绍了FiCA，一个前馈式即时高斯编解码头像生成管道，能够从单张肖像图像中创建逼真的头像。从仅一张图像生成照片级真实感和可驱动的头像具有显著挑战，因为可用的视觉信息有限，难以准确推断人头的三维外观和几何形状。为了解决这个问题，我们开发了一个新系统，将以人为中心的视觉基础模型与扩散模型相结合，充分利用部分视觉观测生成逼真的人类头像。我们的扩散模型学习从这些部分观测到完整且真实的三维网格重建的生成映射。此外，我们引入了一个前馈网格细化网络，增强生成头像的保真度和身份保留，消除了对特定个体测试时优化的需求。通过利用一个通用先验模型，将生成的网格解码为一组三维高斯，我们生成了能够实时驱动新表情的照片级真实感三维高斯头像。实验表明，我们的前馈方法生成的头像忠实地代表了多样的身份，并超越了最近竞争方法生成头像的视觉质量。
🔬 方法详解
问题定义：本论文旨在解决从单张肖像图像生成逼真三维头像的难题。现有方法在信息不足的情况下，难以准确推断人头的三维外观和几何形状，导致生成头像的质量不高。
核心思路：论文的核心思路是结合人类视觉基础模型与扩散模型，充分利用部分视觉观测来生成逼真的人类头像。通过这种设计，系统能够在信息有限的情况下，生成高保真度的三维头像。
技术框架：整体架构包括两个主要模块：扩散模型和前馈网格细化网络。扩散模型负责从部分观测生成完整的三维网格，而细化网络则增强生成头像的保真度和身份保留。
关键创新：最重要的技术创新在于引入了前馈网格细化网络，消除了对个体特定测试时优化的需求，并通过通用先验模型将生成的网格解码为三维高斯，从而实现实时驱动新表情的能力。
关键设计：在网络结构上，扩散模型采用了生成映射的学习机制，而细化网络则通过特定的损失函数优化头像的保真度和身份一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，FiCA生成的头像在视觉质量上显著优于最近的竞争方法，能够忠实地代表多样的身份，且在生成过程中无需进行个体特定的优化，提升了生成效率和用户体验。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和社交媒体等，能够为用户提供个性化的虚拟形象，增强用户体验。未来，FiCA可能在数字人类交互和在线社交平台中发挥重要作用，推动虚拟形象的广泛应用。
📄 摘要（原文）
We introduce FiCA, a Feed-forward, instant Gaussian Codec Avatar generation pipeline that creates lifelike avatars from a single portrait image. Generating a photorealistic and drivable avatar from just a single image is significantly challenging due to the limited visual information available to accurately infer the 3D appearance and geometry of human heads. To address this, we develop a novel system that combines human-centric vision foundation models with a diffusion model. This system is designed to fully exploit partial visual observations to generate lifelike human avatars. Our proposed diffusion model learns a generative mapping from these partial observations to complete and authentic 3D mesh reconstruction. Additionally, we introduce a feed-forward mesh refinement network that enhances the fidelity and identity preservation of the generated avatars, eliminating the need for person-specific test-time optimization. By leveraging a universal prior model that decodes a generated mesh into a set of 3D Gaussians, we generate a photorealistic 3D Gaussian avatar, capable of being driven with novel expressions in real-time. Our experiments demonstrate that the avatars generated by our feed-forward approach faithfully represent diverse identities and surpass the visual quality of avatars produced by recent competing methods.