MM-Narrator: Narrating Long-form Videos with Multimodal In-Context Learning

📄 arXiv: 2311.17435v1 📥 PDF

作者: Chaoyi Zhang, Kevin Lin, Zhengyuan Yang, Jianfeng Wang, Linjie Li, Chung-Ching Lin, Zicheng Liu, Lijuan Wang

分类: cs.CV, cs.AI

发布日期: 2023-11-29

备注: Project page at https://mm-narrator.github.io/

💡 一句话要点

提出MM-Narrator以解决长视频音频描述生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 音频描述生成 多模态学习 GPT-4 记忆增强生成 无训练设计 复杂度驱动选择 自动化内容生成

📋 核心要点

  1. 现有方法主要集中在短视频片段的音频描述生成，难以处理长视频的复杂性和信息量。
  2. MM-Narrator通过记忆增强生成过程，结合短期文本和长期视觉记忆，实现长视频的精准音频描述生成。
  3. 在MAD-eval数据集上的实验结果显示，MM-Narrator在大多数场景中超越了现有的微调和LLM方法，提升显著。

📝 摘要（中文）

我们提出了MM-Narrator，一个利用GPT-4和多模态上下文学习生成音频描述的新系统。与以往主要关注短视频片段的下游微调方法不同，MM-Narrator能够以自回归的方式为时长超过数小时的视频生成精准的音频描述。这一能力得益于所提出的记忆增强生成过程，能够有效利用短期文本上下文和长期视觉记忆，通过高效的注册与召回机制，编译相关的过去信息，包括故事情节和角色身份，确保准确跟踪和描绘故事连贯性和角色中心的音频描述。保持MM-Narrator的无训练设计，我们进一步提出了一种基于复杂度的演示选择策略，通过少量示例的多模态上下文学习显著增强其多步推理能力。实验结果表明，MM-Narrator在大多数场景中均优于现有的基于微调的方法和基于大型语言模型的方法。

🔬 方法详解

问题定义：本论文旨在解决长视频音频描述生成中的信息丢失和上下文跟踪问题。现有方法在处理长视频时，往往无法有效整合和利用丰富的视觉和文本信息，导致生成的描述不够准确和连贯。

核心思路：论文提出的MM-Narrator系统通过记忆增强生成过程，结合短期文本上下文和长期视觉记忆，能够在生成过程中有效地注册和召回相关信息，从而生成高质量的音频描述。

技术框架：MM-Narrator的整体架构包括输入视频的特征提取、上下文信息的注册与召回、以及基于GPT-4的音频描述生成模块。系统通过多模态上下文学习，整合视觉和文本信息，确保描述的连贯性和准确性。

关键创新：MM-Narrator的主要创新在于其记忆增强生成过程和复杂度驱动的演示选择策略。这使得系统能够在无训练的情况下，通过少量示例实现多步推理，显著提升生成能力。

关键设计：系统设计中采用了高效的注册与召回机制，确保短期和长期信息的有效整合。此外，复杂度驱动的演示选择策略优化了生成过程中的信息选择，提升了描述的质量和连贯性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MM-Narrator在MAD-eval数据集上表现优异，超越了现有的微调方法和大型语言模型方法。在大多数评估场景中，MM-Narrator的音频描述生成质量显著提高，具体性能数据未详述，但提升幅度明显。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在教育、娱乐和无障碍技术领域。MM-Narrator能够为长视频内容提供精准的音频描述，帮助视觉障碍人士更好地理解视频内容，同时也可用于自动化内容生成和视频摘要等场景，提升用户体验。

📄 摘要（原文）

We present MM-Narrator, a novel system leveraging GPT-4 with multimodal in-context learning for the generation of audio descriptions (AD). Unlike previous methods that primarily focused on downstream fine-tuning with short video clips, MM-Narrator excels in generating precise audio descriptions for videos of extensive lengths, even beyond hours, in an autoregressive manner. This capability is made possible by the proposed memory-augmented generation process, which effectively utilizes both the short-term textual context and long-term visual memory through an efficient register-and-recall mechanism. These contextual memories compile pertinent past information, including storylines and character identities, ensuring an accurate tracking and depicting of story-coherent and character-centric audio descriptions. Maintaining the training-free design of MM-Narrator, we further propose a complexity-based demonstration selection strategy to largely enhance its multi-step reasoning capability via few-shot multimodal in-context learning (MM-ICL). Experimental results on MAD-eval dataset demonstrate that MM-Narrator consistently outperforms both the existing fine-tuning-based approaches and LLM-based approaches in most scenarios, as measured by standard evaluation metrics. Additionally, we introduce the first segment-based evaluator for recurrent text generation. Empowered by GPT-4, this evaluator comprehensively reasons and marks AD generation performance in various extendable dimensions.