NEST: Narrative Event Structures in Time for Long Video Understanding

📄 arXiv: 2606.19706v1 📥 PDF

作者: Ali Asgarov, Kaushik Narasimhan, Najibul Haque Sarker, Hani Alomari, Chia-Wei Tang, Anushka Sivakumar, Zaber Ibn Abdul Hakim, Shaurya Mallampati, Chris Thomas

分类: cs.CV, cs.CL

发布日期: 2026-06-18

💡 一句话要点

提出NEST以解决长视频叙事结构理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 叙事结构 多模态事件 事件关系提取 视觉语言模型

📋 核心要点

  1. 现有方法在长视频理解中缺乏对叙事结构的深入分析，主要集中于检索而非事件间的关系。
  2. 本文提出NEST数据集，通过多模态注释捕捉叙事事件，并建立事件间的关系以反映叙事结构。
  3. 实验结果表明，事件触发检测和事件定位的性能较低，而事件关系提取在给定事件后表现较好，达到35.45%的F1值。

📝 摘要（中文）

近年来，视觉语言模型的进展使得处理越来越长的视频序列成为可能，但处理扩展的token流并不等同于理解长视频中的叙事结构。现有的长视频基准主要集中在检索任务上，而非评估低级动作如何形成事件、事件如何随时间交互以及叙事如何进展。为此，本文提出了NEST（Narrative Event Structures in Time for Long Video Understanding），该数据集包含1005部全长电影（平均98分钟），每部电影注释了102个多模态叙事事件，基于视觉内容、对话和音频进行标注。NEST通过反映叙事结构的关系将这些事件连接起来，包括时间顺序、层次组成和长程依赖。我们还引入了事件触发检测、事件定位、事件参数提取和事件关系提取的基线，结果显示这些任务的挑战性极高。

🔬 方法详解

问题定义：本文旨在解决长视频理解中的叙事结构识别问题。现有方法主要关注检索任务，未能有效处理事件间的关系和叙事进展。

核心思路：NEST通过构建一个包含多模态叙事事件的数据集，旨在捕捉事件间的关系，帮助模型理解叙事结构的复杂性。

技术框架：NEST数据集包含1005部电影，每部电影注释102个事件，涉及视觉、对话和音频信息。模型通过事件触发检测、事件定位、事件参数提取和事件关系提取等模块进行训练和评估。

关键创新：NEST的创新之处在于其多模态事件注释和事件间关系的结构化表示，显著提升了对长视频叙事的理解能力。

关键设计：在模型设计中，采用了特定的损失函数和参数设置，以优化事件检测和关系提取的性能，确保模型能够有效捕捉长视频中的复杂叙事结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，事件触发检测（ETD）性能低于8%，事件定位（EL）低于6%，事件参数提取（EAE）低于11%。然而，事件关系提取（ERE）在给定事件后表现较好，达到35.45%的F1值，经过微调后提升至44.42%。

🎯 应用场景

该研究的潜在应用领域包括影视内容分析、自动化视频摘要生成和智能推荐系统。通过深入理解长视频中的叙事结构，可以提升用户体验，帮助用户更好地获取信息和娱乐内容。未来，该研究可能推动更高级的多模态学习和理解技术的发展。

📄 摘要（原文）

Recent progress in vision-language models has enabled the processing of increasingly long video sequences, but the ability to handle extended token streams does not translate to understanding of narrative structure in long videos. Existing long video benchmarks focus on needle-in-a-haystack retrieval rather than evaluating how low-level actions form events, how events interact across time, and how narratives progress, for example, whether a model can connect an early setback, such as a job loss to a later relationship breakup, despite long gaps, intervening scenes, or flashbacks that reframe what occurred. We introduce NEST (Narrative Event Structures in Time for Long Video Understanding), a dataset of 1005 full-length movies (avg. 98 minutes), each annotated with 102 multimodal narrative events grounded in visual content, dialogue, and audio. NEST captures multimodal narrative events with structured annotations grounded in visual content, dialogue, and audio, and links them through relations that reflect narrative structure, including temporal ordering, hierarchical composition, and long-range dependencies. We introduce baselines for event trigger detection (ETD), event localization (EL), event argument extraction (EAE), and event relation extraction (ERE). The benchmark is highly challenging for grounded event discovery, with ETD below 8%, EL under 6%, and EAE below 11%. In contrast, ERE is more tractable once events are given, reaching 35.45% F1 zero-shot and 44.42% F1 after fine-tuning.