NarrativeTrack: Evaluating Entity-Centric Reasoning for Narrative Understanding
作者: Hyeonjeong Ha, Jinjin Ge, Bo Feng, Kaixin Ma, Gargi Chakraborty
分类: cs.CV, cs.LG
发布日期: 2026-07-05
💡 一句话要点
提出NarrativeTrack以解决多模态大语言模型叙事理解问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 叙事理解 多模态大语言模型 实体中心推理 时间推理 组合推理进程 视频分析 动态实体
📋 核心要点
- 现有的多模态大语言模型在处理视频叙事时，缺乏对动态实体的持续跟踪和理解能力。
- 论文提出了NarrativeTrack基准，通过细粒度的实体中心推理，系统评估叙事理解能力，采用组合推理进程逐步增加复杂性。
- 实验结果表明，现有模型在时间一致性和上下文理解上存在明显不足，揭示了感知基础与时间推理之间的基本权衡。
📝 摘要（中文）
多模态大语言模型（MLLMs）在视觉语言推理方面取得了显著进展，但在理解视频中时间展开的叙事方面仍然不足。真正的叙事理解需要明确谁在做什么、何时何地，并在动态视觉和时间上下文中保持一致的实体表示。我们提出了NarrativeTrack，这是第一个通过细粒度实体中心推理评估MLLMs叙事理解的基准。与现有基准不同，NarrativeTrack将视频分解为组成实体，并通过组合推理进程（CRP）考察其连续性。CRP逐步增加叙事复杂性，挑战模型从时间持久性到上下文演变和细粒度感知推理。评估结果显示，现有模型在视觉转变和时间动态中无法稳健地跟踪实体，常常在上下文变化中产生幻觉。NarrativeTrack为MLLMs的时间基础叙事理解提供了系统化框架。
🔬 方法详解
问题定义：本论文旨在解决多模态大语言模型在视频叙事理解中的不足，尤其是在动态实体的跟踪和时间上下文的理解方面。现有方法往往局限于短视频片段或粗略的场景语义，无法有效处理复杂叙事。
核心思路：论文提出NarrativeTrack基准，通过细粒度的实体中心推理，系统评估模型的叙事理解能力。采用组合推理进程（CRP）作为评估框架，逐步增加叙事的复杂性，挑战模型在时间持久性、上下文演变和细粒度感知推理方面的能力。
技术框架：整体架构包括一个全自动的实体中心管道，用于提取时间基础的实体表示。CRP框架分为三个维度：实体存在、实体变化和实体模糊性，逐步增加叙事复杂性。
关键创新：最重要的技术创新在于CRP框架的设计，它与现有方法的本质区别在于能够系统化地评估和诊断模型在动态叙事中的表现，强调了时间推理与感知基础的结合。
关键设计：在技术细节上，论文设计了特定的参数设置和损失函数，以优化模型在时间和上下文理解上的表现，确保模型能够有效跟踪和理解视频中的动态实体。
🖼️ 关键图片
📊 实验亮点
实验结果显示，现有的多模态大语言模型在时间一致性和上下文理解上存在显著不足，尤其是在视觉转变和时间动态中，模型常常产生实体幻觉。开源的通用MLLMs在感知基础上表现良好，但在时间一致性上较弱，而视频特定的MLLMs则在时间上下文捕捉上表现较好，但在实体上下文上存在幻觉。这些发现揭示了感知基础与时间推理之间的基本权衡。
🎯 应用场景
该研究的潜在应用领域包括视频分析、自动内容生成和智能监控等。通过提升多模态大语言模型在叙事理解方面的能力，可以为人机交互、教育和娱乐等领域带来更智能的解决方案，推动相关技术的进步与应用。
📄 摘要（原文）
Multimodal large language models (MLLMs) have achieved impressive progress in vision-language reasoning, yet their ability to understand temporally unfolding narratives in videos remains underexplored. True narrative understanding requires grounding who is doing what, when, and where, maintaining coherent entity representations across dynamic visual and temporal contexts. We introduce NarrativeTrack, the first benchmark to evaluate narrative understanding in MLLMs through fine-grained entity-centric reasoning. Unlike existing benchmarks limited to short clips or coarse scene-level semantics, we decompose videos into constituent entities and examine their continuity via a Compositional Reasoning Progression (CRP), a structured evaluation framework that progressively increases narrative complexity across three dimensions: entity existence, entity changes, and entity ambiguity. CRP challenges models to advance from temporal persistence to contextual evolution and fine-grained perceptual reasoning. A fully automated entity-centric pipeline enables scalable extraction of temporally grounded entity representations, providing the foundation for CRP. Evaluations of state-of-the-art MLLMs reveal that models fail to robustly track entities across visual transitions and temporal dynamics, often hallucinating identity under context shifts. Open-source general-purpose MLLMs exhibit strong perceptual grounding but weak temporal coherence, while video-specific MLLMs capture temporal context yet hallucinate entities' contexts. These findings uncover a fundamental trade-off between perceptual grounding and temporal reasoning, indicating that narrative understanding emerges only from their integration. NarrativeTrack provides the first systematic framework to diagnose and advance temporally grounded narrative comprehension in MLLMs.