Motion Transfer-Enhanced StyleGAN for Generating Diverse Macaque Facial Expressions

📄 arXiv: 2511.16711v1 📥 PDF

作者: Takuya Igaue, Catia Correia-Caeiro, Akito Yoshida, Takako Miyabe-Nishiwaki, Ryusuke Hayashi

分类: cs.CV, eess.IV

发布日期: 2025-11-20

💡 一句话要点

提出基于运动迁移增强的StyleGAN，用于生成多样化的猕猴面部表情

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 生成对抗网络 StyleGAN 面部表情生成 运动迁移 数据增强

📋 核心要点

  1. 现有动物面部表情生成方法面临数据量少、表情变化不足的挑战，限制了生成模型的性能。
  2. 利用运动迁移技术增强数据，并基于潜在空间进行样本选择，确保训练数据的多样性和均匀性。
  3. 通过优化损失函数，模型能够更准确地捕捉和再现细微的面部运动，提升生成质量。

📝 摘要（中文）

本文针对生成式AI技术在动物面部生成方面面临的训练数据量少、表情变化不足的挑战，以猕猴为研究对象，提出了一种基于StyleGAN2的方法来生成其面部表情。该方法通过以下策略克服数据限制：1) 利用运动迁移技术合成新的面部表情图像进行数据增强；2) 基于初始训练的StyleGAN2模型对猕猴面部的潜在表示进行样本选择，确保训练数据集的多样性和均匀性；3) 优化损失函数，以确保准确再现细微的运动，如眼部运动。实验结果表明，该方法能够为多个猕猴个体生成多样化的面部表情，优于仅使用原始静态图像训练的模型。此外，该模型在基于风格的图像编辑方面也表现出色，特定的风格参数对应于不同的面部运动。这些发现突显了该模型将运动成分解耦为风格参数的潜力，为猕猴面部表情研究提供了一个有价值的工具。

🔬 方法详解

问题定义：论文旨在解决使用生成式AI生成动物面部表情时，由于训练数据量不足且表情变化有限而导致的生成效果不佳的问题。现有方法难以生成多样且逼真的动物面部表情，尤其是在个体差异和细微表情变化方面表现不足。

核心思路：论文的核心思路是通过数据增强、样本选择和损失函数优化来提升StyleGAN2在猕猴面部表情生成方面的性能。运动迁移用于扩充数据，潜在空间分析用于选择更具代表性的样本，定制的损失函数则用于提升对细微表情的捕捉能力。

技术框架：整体框架包括三个主要阶段：1) 数据增强阶段：利用计算机图形学和运动迁移技术，将静态图像转化为具有动态表情的图像，增加训练数据的多样性。2) 样本选择阶段：使用初步训练的StyleGAN2模型，分析猕猴面部的潜在表示，并选择在潜在空间中分布均匀且具有代表性的样本。3) 模型训练阶段：使用增强后的数据集和优化的损失函数训练StyleGAN2模型，生成具有多样化面部表情的猕猴图像。

关键创新：该方法的主要创新在于结合了运动迁移的数据增强策略、基于潜在空间的样本选择方法以及针对细微表情的损失函数优化。与传统方法相比，该方法能够更有效地利用有限的数据，生成更逼真、更多样化的猕猴面部表情。

关键设计：在数据增强方面，使用了特定的运动迁移算法（具体算法未知）。在样本选择方面，使用了基于StyleGAN2潜在空间的均匀采样策略（具体实现未知）。在损失函数方面，除了标准的对抗损失和感知损失外，还引入了针对眼部运动等细微表情的定制化损失函数（具体形式未知）。

📊 实验亮点

实验结果表明，该方法生成的猕猴面部表情在多样性和逼真度方面均优于仅使用原始静态图像训练的StyleGAN2模型。通过风格编辑，可以控制生成图像的面部运动，证明了模型能够将运动成分解耦为风格参数。具体性能指标和提升幅度未知。

🎯 应用场景

该研究成果可应用于动物行为学研究，例如通过生成不同表情的猕猴图像来研究其社会行为和情感表达。此外，该技术还可用于计算机动画、虚拟现实等领域，创造更逼真的动物角色。未来，该方法有望推广到其他动物，甚至人类面部表情的生成与编辑。

📄 摘要（原文）

Generating animal faces using generative AI techniques is challenging because the available training images are limited both in quantity and variation, particularly for facial expressions across individuals. In this study, we focus on macaque monkeys, widely studied in systems neuroscience and evolutionary research, and propose a method to generate their facial expressions using a style-based generative image model (i.e., StyleGAN2). To address data limitations, we implemented: 1) data augmentation by synthesizing new facial expression images using a motion transfer to animate still images with computer graphics, 2) sample selection based on the latent representation of macaque faces from an initially trained StyleGAN2 model to ensure the variation and uniform sampling in training dataset, and 3) loss function refinement to ensure the accurate reproduction of subtle movements, such as eye movements. Our results demonstrate that the proposed method enables the generation of diverse facial expressions for multiple macaque individuals, outperforming models trained solely on original still images. Additionally, we show that our model is effective for style-based image editing, where specific style parameters correspond to distinct facial movements. These findings underscore the model's potential for disentangling motion components as style parameters, providing a valuable tool for research on macaque facial expressions.