Masked Generative Story Transformer with Character Guidance and Caption Augmentation

📄 arXiv: 2403.08502v1 📥 PDF

作者: Christos Papadimitriou, Giorgos Filandrianos, Maria Lymperaiou, Giorgos Stamou

分类: cs.CV, cs.AI

发布日期: 2024-03-13

💡 一句话要点

提出基于掩码生成故事变换器以解决故事可视化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 故事可视化 生成模型 变换器 交叉注意力 角色引导 字幕增强 计算机视觉

📋 核心要点

  1. 现有的故事可视化方法在生成图像序列时，往往无法有效保持视觉一致性和质量。
  2. 本文提出了一种基于变换器的并行生成方法，利用交叉注意力机制和角色引导技术来提升生成效果。
  3. 实验结果表明，所提方法在Pororo-SV基准上取得了SOTA性能，相较于传统方法在计算复杂度上也有显著提升。

📝 摘要（中文）

故事可视化（SV）是一项具有挑战性的生成视觉任务，需要在生成的图像序列中保持视觉质量和一致性。以往的方法通常依赖于某种记忆机制来维持上下文，或将角色与背景的生成分开建模。本文采用完全并行的基于变换器的方法，依赖于交叉注意力机制结合过去和未来的字幕，以实现一致性。此外，提出了一种角色引导技术，通过在logit空间中形成文本条件和角色条件logits的组合，隐式地聚焦于角色的生成。我们还利用大型语言模型（LLM）进行字幕增强，以提升方法的鲁棒性。综合这些方法，我们在最重要的SV基准Pororo-SV上取得了最新的SOTA结果，且在资源受限的情况下实现了优越的计算复杂度，定量结果的有效性得到了人类调查的支持。

🔬 方法详解

问题定义：本文旨在解决故事可视化任务中生成图像序列的一致性和质量问题。现有方法通常依赖记忆机制或分开建模角色与背景，导致生成效果不佳。

核心思路：我们采用完全并行的变换器架构，利用交叉注意力机制结合过去和未来的字幕信息，以实现更好的视觉一致性。同时，通过角色引导技术隐式聚焦于角色生成，提升生成质量。

技术框架：整体架构包括数据输入、交叉注意力模块、角色引导模块和字幕增强模块。数据输入阶段将文本和图像信息整合，交叉注意力模块负责生成图像序列，角色引导模块则优化角色生成，字幕增强模块利用LLM提升生成的鲁棒性。

关键创新：最重要的创新在于引入了角色引导技术和字幕增强方法，使得生成过程更加灵活且高效。这与传统方法的分开建模方式形成鲜明对比。

关键设计：在参数设置上，我们优化了交叉注意力的权重，并设计了适应性损失函数以平衡角色与背景的生成。此外，网络结构采用了多层变换器，以增强模型的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Pororo-SV基准上，所提方法在多个指标上达到了最新的SOTA结果，相较于传统方法在计算复杂度上显著降低，具体性能提升幅度未知，且通过人类调查验证了结果的有效性。

🎯 应用场景

该研究的潜在应用领域包括动画制作、游戏开发和虚拟现实等场景，能够为故事叙述提供更高质量的视觉支持。未来，该方法有望推动自动化内容生成的发展，提升创作效率和质量。

📄 摘要（原文）

Story Visualization (SV) is a challenging generative vision task, that requires both visual quality and consistency between different frames in generated image sequences. Previous approaches either employ some kind of memory mechanism to maintain context throughout an auto-regressive generation of the image sequence, or model the generation of the characters and their background separately, to improve the rendering of characters. On the contrary, we embrace a completely parallel transformer-based approach, exclusively relying on Cross-Attention with past and future captions to achieve consistency. Additionally, we propose a Character Guidance technique to focus on the generation of characters in an implicit manner, by forming a combination of text-conditional and character-conditional logits in the logit space. We also employ a caption-augmentation technique, carried out by a Large Language Model (LLM), to enhance the robustness of our approach. The combination of these methods culminates into state-of-the-art (SOTA) results over various metrics in the most prominent SV benchmark (Pororo-SV), attained with constraint resources while achieving superior computational complexity compared to previous arts. The validity of our quantitative results is supported by a human survey.