Let Storytelling Tell Vivid Stories: An Expressive and Fluent Multimodal Storyteller

📄 arXiv: 2403.07301v1 📥 PDF

作者: Chuanqi Zang, Jiji Tang, Rongsheng Zhang, Zeng Zhao, Tangjie Lv, Mingtao Pei, Wei Liang

分类: cs.CV

发布日期: 2024-03-12

💡 一句话要点

提出LLaMS以解决多模态故事生成中的简化剧情问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态故事生成 序列数据增强 SQ-Adapter 文本推理 常识知识

📋 核心要点

  1. 现有的多模态故事生成方法往往导致生成的故事情节过于简单，缺乏吸引力。
  2. 本文提出LLaMS管道，通过序列数据增强和SQ-Adapter模块，提升故事的表现力和一致性。
  3. 实验结果显示LLaMS在故事生成方面的性能优于现有方法，具有显著的相关性和一致性提升。

📝 摘要（中文）

故事讲述旨在根据有序的图像流生成合理且生动的叙述。现有方法虽然在多模态对齐上有所改进，但最终生成的故事情节往往过于简单。本文提出了一种新的管道LLaMS，旨在生成富有表现力和一致性的多模态人类级故事。通过充分利用大型语言模型中的常识知识，采用序列数据自动增强策略来提升事实内容表达，并利用文本推理架构进行生动的故事生成和预测。此外，提出的SQ-Adapter模块能够保持序列一致性。实验结果表明，LLaMS在讲故事性能上达到了最先进水平，与之前的SOTA方法相比，获得了86%的相关性和100%的一致性胜率。

🔬 方法详解

问题定义：本文旨在解决多模态故事生成中存在的故事情节简化问题，现有方法未能有效利用多模态信息，导致生成的故事缺乏吸引力和深度。

核心思路：通过引入序列数据自动增强策略和SQ-Adapter模块，充分利用常识知识和文本推理能力，生成更具表现力和一致性的故事。

技术框架：LLaMS的整体架构包括序列数据增强、文本推理生成和SQ-Adapter模块。首先增强输入数据的表达能力，然后生成故事，最后通过SQ-Adapter确保故事的序列一致性。

关键创新：LLaMS的主要创新在于引入SQ-Adapter模块，能够有效维护故事的序列一致性，与现有方法相比，显著提升了故事的表现力和逻辑连贯性。

关键设计：在参数设置上，采用了针对序列数据的特定增强策略，损失函数设计上注重表达力和一致性的平衡，网络结构则结合了文本推理和多模态信息处理的能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLaMS在故事生成性能上达到了最先进水平，与之前的SOTA方法相比，获得了86%的相关性和100%的一致性胜率，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括教育、娱乐和虚拟现实等场景，能够为用户提供更生动的故事体验，提升内容创作的质量和效率。未来，LLaMS有望在自动化内容生成和人机交互中发挥重要作用，推动多模态生成技术的发展。

📄 摘要（原文）

Storytelling aims to generate reasonable and vivid narratives based on an ordered image stream. The fidelity to the image story theme and the divergence of story plots attract readers to keep reading. Previous works iteratively improved the alignment of multiple modalities but ultimately resulted in the generation of simplistic storylines for image streams. In this work, we propose a new pipeline, termed LLaMS, to generate multimodal human-level stories that are embodied in expressiveness and consistency. Specifically, by fully exploiting the commonsense knowledge within the LLM, we first employ a sequence data auto-enhancement strategy to enhance factual content expression and leverage a textual reasoning architecture for expressive story generation and prediction. Secondly, we propose SQ-Adatpter module for story illustration generation which can maintain sequence consistency. Numerical results are conducted through human evaluation to verify the superiority of proposed LLaMS. Evaluations show that LLaMS achieves state-of-the-art storytelling performance and 86% correlation and 100% consistency win rate as compared with previous SOTA methods. Furthermore, ablation experiments are conducted to verify the effectiveness of proposed sequence data enhancement and SQ-Adapter.