EventCoT: Event-centric Video Chain-of-thought for Reasoning Temporal Localization
作者: Youngkil Song, Yoonjae Baek, Dongwon Kim, Inho Kim, Dongkeun Kim, Suha Kwak
分类: cs.CV, cs.AI
发布日期: 2026-07-06
备注: 25 pages, 11 figures, 16 tables. Co-corresponding authors: Dongkeun Kim and Suha Kwak
💡 一句话要点
提出EventCoT框架以解决视频时间定位问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间定位推理 事件中心标记 视频理解 嵌入匹配 多模态学习
📋 核心要点
- 现有方法在时间定位推理中难以同时生成高层次推理和精确时间基础，导致性能不足。
- 本文提出的EventCoT框架通过事件中心的标记和嵌入匹配技术，有效解决了时间定位推理的挑战。
- EventCoT在ActivityNet-RTL上取得了最先进的结果，并在ReXTime基准上表现出色，展示了其强大的通用性。
📝 摘要（中文）
时间定位推理（RTL）要求模型生成包含支持时间区间的答案，因此需要高层次推理与精确时间基础的联合生成。为了解决这一挑战，本文提出了首个事件中心的视频链式推理框架EventCoT。该框架首先对输入视频进行事件中心的标记，将其转换为紧凑的事件标记，从而高效识别与问题相关的事件。随后，在识别出的事件中进行推理，生成答案，并通过嵌入匹配将占位符标记与视觉嵌入对齐，从而实现时间区间的基础。EventCoT在ActivityNet-RTL上实现了最先进的时间定位推理结果，同时使用的视觉标记数量显著少于以往工作。为了验证其通用性能，EventCoT还在基于视频的问答基准ReXTime上进行了评估，取得了强大的零样本结果。
🔬 方法详解
问题定义：本文旨在解决时间定位推理（RTL）问题，现有方法在生成答案时难以同时实现高层次推理与精确时间基础，导致推理结果不够准确。
核心思路：EventCoT框架通过事件中心的标记，将视频转换为紧凑的事件标记，从而高效识别与问题相关的事件，并在这些事件中进行推理，生成答案并实现时间基础的对齐。
技术框架：EventCoT的整体架构包括事件中心的标记模块和嵌入匹配模块。首先，输入视频被处理为事件标记，然后在识别出的事件中进行推理，最后通过嵌入匹配实现时间区间的基础。
关键创新：EventCoT的主要创新在于其事件中心的标记方法和嵌入匹配技术，使得模型在使用更少视觉标记的情况下，仍能实现高效的时间定位推理。这与以往方法的设计思路有本质区别。
关键设计：在设计上，EventCoT采用了紧凑的事件标记表示，优化了视觉标记的使用效率，并通过特定的损失函数和网络结构实现了高效的嵌入匹配。
🖼️ 关键图片
📊 实验亮点
EventCoT在ActivityNet-RTL上实现了最先进的结果，使用的视觉标记数量显著少于以往工作，展示了其在时间定位推理中的高效性。此外，在ReXTime基准上，EventCoT也取得了强大的零样本结果，验证了其通用性能。
🎯 应用场景
该研究的潜在应用领域包括视频监控、智能交通、视频内容检索等场景，能够帮助系统更准确地理解和定位视频中的时间信息。未来，EventCoT框架可能推动更复杂的视频理解任务的发展，提升人机交互的智能化水平。
📄 摘要（原文）
Reasoning temporal localization (RTL) requires a model to generate an answer that itself contains the time interval supporting it, so high-level reasoning and precise temporal grounding must be produced jointly in a single response. To tackle this challenging task, we propose the first event-centric video chain-of-thought framework, dubbed EventCoT. EventCoT first performs event-centric tokenization of the input video to convert it into compact event tokens, enabling efficient identification of question-relevant events. It then reasons within the identified events to generate the answer, grounding the time interval via embedding matching that aligns placeholder tokens with visual embeddings. EventCoT achieves state-of-the-art results on ActivityNet-RTL for reasoning temporal localization while using substantially fewer visual tokens than previous work. To verify its general performance, we further evaluate EventCoT on the grounded video question answering benchmark ReXTime, where it attains strong zero-shot results.