ChatAnything: Facetime Chat with LLM-Enhanced Personas
作者: Yilin Zhao, Xinbin Yuan, Shanghua Gao, Zhijie Lin, Qibin Hou, Jiashi Feng, Daquan Zhou
分类: cs.CV, cs.AI
发布日期: 2023-11-12
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出ChatAnything以解决生成类人角色的多样性问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 类人角色生成 大语言模型 声音混合 扩散混合 面部关键点检测 自动动画 文本到图像生成
📋 核心要点
- 现有生成模型在生成类人角色时，常常无法被面部关键点检测器识别，导致面部动作生成失败。
- 论文提出通过声音混合和扩散混合的方式，利用LLM生成个性化角色的视觉和语音特征，提升生成效果。
- 实验结果表明，面部关键点的检测率从57.0%显著提升至92.5%，有效支持了自动面部动画的实现。
📝 摘要（中文）
在本技术报告中，我们针对基于大语言模型（LLM）的角色生成类人化形象，包括视觉外观、个性和语调，仅通过文本描述实现在线生成。我们首先利用LLM的上下文学习能力，通过精心设计的系统提示生成个性。接着，提出了两种新概念：声音混合（MoV）和扩散混合（MoD），用于多样化声音和外观生成。MoV利用文本到语音（TTS）算法自动选择与用户提供的文本描述最匹配的语调，而MoD则结合了流行的文本到图像生成技术和说话头算法，简化了生成会说话对象的过程。我们将整个框架称为ChatAnything。通过该框架，用户可以仅用少量文本输入为任何类人角色动画化。然而，当前生成模型产生的类人对象常常无法被预训练的面部关键点检测器检测，导致面部动作生成失败。为了解决这一问题，我们在图像生成阶段引入像素级指导，以注入人脸关键点。通过构建评估数据集，我们验证了面部关键点的检测率显著提高，从57.0%提升至92.5%，从而实现基于生成语音内容的自动面部动画。
🔬 方法详解
问题定义：本研究旨在解决基于大语言模型生成类人角色时，生成的面部图像无法被面部关键点检测器识别的问题。现有方法在生成的类人对象上存在识别率低的问题，导致面部动作生成失败。
核心思路：论文的核心思路是通过引入声音混合（MoV）和扩散混合（MoD）两个新概念，利用LLM的上下文学习能力生成个性化角色的视觉和语音特征，从而提升生成的多样性和准确性。
技术框架：整体框架分为几个主要模块：首先，通过系统提示生成个性化角色的文本描述；其次，利用MoV选择合适的语音；最后，使用MoD结合文本到图像生成技术和说话头算法生成类人角色的视觉表现。
关键创新：最重要的技术创新在于引入了声音混合和扩散混合的概念，尤其是通过像素级指导注入人脸关键点，从而显著提高了面部关键点的检测率，解决了现有方法的识别问题。
关键设计：在技术实现上，采用了多种预定义的语调进行TTS生成，并通过用户提供的文本描述自动选择最匹配的语调。同时，在图像生成过程中，结合了最新的文本到图像生成技术和面部关键点检测算法，确保生成的图像能够被有效识别。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用新方法后，面部关键点的检测率从57.0%提升至92.5%，显著提高了生成图像的可用性和准确性。这一提升为基于生成语音内容的自动面部动画提供了强有力的支持，展示了该框架的有效性。
🎯 应用场景
该研究的潜在应用领域包括虚拟角色创建、游戏开发、在线教育和社交媒体等。通过ChatAnything，用户可以轻松创建个性化的类人角色，提升互动体验和内容创作的效率。未来，该技术可能在增强现实和虚拟现实等领域发挥更大作用，推动人机交互的进步。
📄 摘要（原文）
In this technical report, we target generating anthropomorphized personas for LLM-based characters in an online manner, including visual appearance, personality and tones, with only text descriptions. To achieve this, we first leverage the in-context learning capability of LLMs for personality generation by carefully designing a set of system prompts. We then propose two novel concepts: the mixture of voices (MoV) and the mixture of diffusers (MoD) for diverse voice and appearance generation. For MoV, we utilize the text-to-speech (TTS) algorithms with a variety of pre-defined tones and select the most matching one based on the user-provided text description automatically. For MoD, we combine the recent popular text-to-image generation techniques and talking head algorithms to streamline the process of generating talking objects. We termed the whole framework as ChatAnything. With it, users could be able to animate anything with any personas that are anthropomorphic using just a few text inputs. However, we have observed that the anthropomorphic objects produced by current generative models are often undetectable by pre-trained face landmark detectors, leading to failure of the face motion generation, even if these faces possess human-like appearances because those images are nearly seen during the training (e.g., OOD samples). To address this issue, we incorporate pixel-level guidance to infuse human face landmarks during the image generation phase. To benchmark these metrics, we have built an evaluation dataset. Based on it, we verify that the detection rate of the face landmark is significantly increased from 57.0% to 92.5% thus allowing automatic face animation based on generated speech content. The code and more results can be found at https://chatanything.github.io/.