Talking Head(?) Anime from a Single Image 4: Improved Model and Its Distillation

📄 arXiv: 2311.17409v2 📥 PDF

作者: Pramook Khungurn

分类: cs.CV

发布日期: 2023-11-29 (更新: 2023-11-30)

💡 一句话要点

提出改进模型以实现单图动漫角色实时控制

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动漫角色生成 实时动画 U-Net 蒸馏技术 图像质量提升 计算机视觉 虚拟角色创建

📋 核心要点

  1. 现有的THA3系统在生成动画时速度较慢，无法满足实时应用的需求，同时图像质量也有待提升。
  2. 论文提出了基于U-Net的注意力机制的新网络架构，旨在提高图像质量，并通过蒸馏技术实现小型化以提升生成速度。
  3. 实验结果表明，改进后的模型在图像质量上优于THA3基线，同时新模型能够在消费级GPU上以30帧每秒的速度生成动画帧。

📝 摘要（中文）

本文研究了如何从单幅动漫角色图像实时生成可控角色模型的问题。该解决方案将大幅降低创建虚拟形象、计算机游戏及其他互动应用的成本。我们改进了开源项目Talking Head Anime 3 (THA3)，提出了基于U-Net的注意力机制的新网络架构，显著提升了图像质量，但生成速度较慢。为了解决这一问题，我们还提出了一种蒸馏技术，将系统压缩至小于2MB的网络，能够在消费级游戏GPU上实时生成512x512的动画帧，保持接近全系统的图像质量，使得该系统在实时应用中变得可行。

🔬 方法详解

问题定义：本文旨在解决如何从单幅动漫角色图像生成可控角色模型的问题。现有的THA3系统在生成速度和图像质量上存在不足，无法满足实时应用的需求。

核心思路：我们提出了新的网络架构，结合U-Net和注意力机制，以提高图像生成的质量。同时，通过蒸馏技术将模型压缩，使其在保持图像质量的同时能够实现实时生成。

技术框架：整体架构包括两个主要模块：第一部分是基于U-Net的生成网络，用于处理角色的头部和身体旋转；第二部分是蒸馏网络，负责将大型模型的知识转移到小型模型中。

关键创新：最重要的创新在于提出了新型的网络架构和蒸馏技术，使得生成速度和图像质量之间的平衡得以实现。这与现有方法的本质区别在于，前者在保证质量的同时显著提高了生成速度。

关键设计：在网络设计中，我们采用了多层次的注意力机制来增强特征提取能力，并设置了适当的损失函数以优化生成效果。蒸馏网络的参数设置也经过精心调整，以确保小型模型的性能接近全模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，改进后的模型在图像质量上优于THA3基线，且新模型能够在消费级GPU上以30帧每秒的速度生成512x512的动画帧，显著提升了实时应用的可行性。

🎯 应用场景

该研究的潜在应用领域包括虚拟角色创建、计算机游戏开发以及其他互动应用，能够大幅降低开发成本并提升用户体验。随着技术的进步，未来可能在动漫制作、虚拟现实等领域产生更广泛的影响。

📄 摘要（原文）

We study the problem of creating a character model that can be controlled in real time from a single image of an anime character. A solution to this problem would greatly reduce the cost of creating avatars, computer games, and other interactive applications. Talking Head Anime 3 (THA3) is an open source project that attempts to directly address the problem. It takes as input (1) an image of an anime character's upper body and (2) a 45-dimensional pose vector and outputs a new image of the same character taking the specified pose. The range of possible movements is expressive enough for personal avatars and certain types of game characters. However, the system is too slow to generate animations in real time on common PCs, and its image quality can be improved. In this paper, we improve THA3 in two ways. First, we propose new architectures for constituent networks that rotate the character's head and body based on U-Nets with attention that are widely used in modern generative models. The new architectures consistently yield better image quality than the THA3 baseline. Nevertheless, they also make the whole system much slower: it takes up to 150 milliseconds to generate a frame. Second, we propose a technique to distill the system into a small network (less than 2 MB) that can generate 512x512 animation frames in real time (under 30 FPS) using consumer gaming GPUs while keeping the image quality close to that of the full system. This improvement makes the whole system practical for real-time applications.