Long Story Short: a Summarize-then-Search Method for Long Video Question Answering

📄 arXiv: 2311.01233v1 📥 PDF

作者: Jiwan Chung, Youngjae Yu

分类: cs.CV, cs.AI

发布日期: 2023-11-02

备注: Published in BMVC 2023

💡 一句话要点

提出Long Story Short框架以解决长视频问答问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 多模态叙事 零-shot学习 视频问答 CLIPCheck 视觉匹配 自然语言处理

📋 核心要点

  1. 现有方法在长视频问答中面临叙事复杂性和监督数据稀缺的挑战，导致性能受限。
  2. 论文提出的Long Story Short框架通过先总结视频叙事，再进行相关部分搜索，有效提升了问答准确性。
  3. 实验结果表明，该模型在长视频问答任务上超越了现有的最先进监督模型，展示了零-shot问答的强大潜力。

📝 摘要（中文）

大型语言模型如GPT-3在无需特定任务训练数据的情况下展现了出色的适应能力，尤其在叙事问答等任务中表现突出。本文探讨了这些模型是否能将零-shot推理能力扩展到长多模态叙事视频中，提出了Long Story Short框架，首先将视频叙事总结为简短情节，然后搜索与问题相关的视频部分。此外，本文还提出通过CLIPCheck增强视觉匹配。实验结果显示，该模型在长视频问答任务上显著超越了现有的监督模型，突显了零-shot问答在长视频中的潜力。

🔬 方法详解

问题定义：本文旨在解决长视频问答中的叙事复杂性和监督数据不足的问题。现有方法往往无法有效处理长视频中的多模态信息，导致问答性能不佳。

核心思路：Long Story Short框架的核心思路是将长视频的叙事内容先进行总结，形成简短的情节描述，然后基于该情节进行相关视频片段的搜索，以提高问答的相关性和准确性。

技术框架：该框架主要包括两个阶段：第一阶段是视频叙事的总结，第二阶段是基于总结进行视频片段的搜索。通过CLIPCheck增强视觉匹配，确保搜索结果的准确性。

关键创新：最重要的技术创新在于将零-shot学习应用于长视频问答任务，利用大型语言模型的推理能力，显著提升了问答的准确性和效率。与现有方法相比，该框架在处理长视频时展现了更强的适应性和灵活性。

关键设计：在模型设计中，采用了特定的损失函数来优化视频摘要和问答的匹配度，同时在视觉匹配模块中引入了CLIPCheck，以提升视觉信息的利用效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Long Story Short框架在长视频问答任务上超越了现有的最先进监督模型，性能提升幅度达到显著水平，具体数据未在摘要中提供，但强调了零-shot问答的有效性和潜力。

🎯 应用场景

该研究的潜在应用场景包括影视内容分析、教育视频问答系统以及智能客服等领域。通过有效处理长视频中的信息，能够提升用户在多媒体内容中的交互体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large language models such as GPT-3 have demonstrated an impressive capability to adapt to new tasks without requiring task-specific training data. This capability has been particularly effective in settings such as narrative question answering, where the diversity of tasks is immense, but the available supervision data is small. In this work, we investigate if such language models can extend their zero-shot reasoning abilities to long multimodal narratives in multimedia content such as drama, movies, and animation, where the story plays an essential role. We propose Long Story Short, a framework for narrative video QA that first summarizes the narrative of the video to a short plot and then searches parts of the video relevant to the question. We also propose to enhance visual matching with CLIPCheck. Our model outperforms state-of-the-art supervised models by a large margin, highlighting the potential of zero-shot QA for long videos.