Enrich and Detect: Video Temporal Grounding with Multimodal LLMs

📄 arXiv: 2510.17023v1 📥 PDF

作者: Shraman Pramanick, Effrosyni Mavroudi, Yale Song, Rama Chellappa, Lorenzo Torresani, Triantafyllos Afouras

分类: cs.CV, cs.MM

发布日期: 2025-10-19

备注: ICCV 2025 (Highlights)

💡 一句话要点

提出ED-VTG，利用多模态LLM进行细粒度视频时序定位

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频时序定位 多模态LLM 查询富集 多示例学习 自然语言处理

📋 核心要点

  1. 现有视频时序定位方法难以有效利用文本信息，且易受噪声和幻觉影响。
  2. ED-VTG通过多模态LLM增强查询信息，并使用轻量级解码器进行精确定位。
  3. 实验表明，ED-VTG在多个基准测试中达到SOTA，并在零样本学习中表现出色。

📝 摘要（中文）

本文介绍了一种名为ED-VTG的方法，用于利用多模态大型语言模型进行细粒度视频时序定位。该方法利用多模态LLM的能力，联合处理文本和视频，通过一个两阶段过程有效地在视频中定位自然语言查询。首先，语言查询被转换为富含信息的句子，其中包含了缺失的细节和线索，以辅助定位。其次，使用一个轻量级解码器对这些富含信息的查询进行定位，该解码器专门用于预测基于富含信息查询的上下文表示的精确边界。为了减轻噪声并减少幻觉的影响，该模型采用多示例学习目标进行训练，该目标动态地为每个训练样本选择查询的最佳版本。实验结果表明，该方法在时序视频定位和段落定位的各种基准测试中都取得了最先进的结果。实验表明，该方法显著优于所有先前提出的基于LLM的时序定位方法，并且优于或可与专用模型相媲美，同时在零样本评估场景中保持了明显的优势。

🔬 方法详解

问题定义：视频时序定位旨在根据给定的自然语言查询，在视频中找到对应的起始和结束时间点。现有方法在处理复杂查询、利用上下文信息以及减轻噪声和幻觉方面存在不足，尤其是在利用大型语言模型时，如何有效融合多模态信息并避免生成不准确的定位结果是一个挑战。

核心思路：ED-VTG的核心思路是首先利用多模态LLM对原始查询进行“富集”，即补充缺失的细节和线索，使其更易于定位。然后，使用一个轻量级的解码器，基于富集后的查询表示，预测视频片段的起始和结束时间。这种两阶段的方法旨在解耦查询理解和时序定位，从而提高整体性能。

技术框架：ED-VTG包含两个主要阶段：查询富集和时序定位。在查询富集阶段，使用多模态LLM（例如，LLaVA）联合处理文本查询和视频帧，生成包含更多上下文信息的增强查询。在时序定位阶段，使用一个轻量级的解码器（例如，一个简单的线性层或Transformer解码器），基于增强查询的表示，预测视频片段的起始和结束时间。整个框架采用端到端的方式进行训练。

关键创新：ED-VTG的关键创新在于利用多模态LLM进行查询富集，从而有效地利用了视频的上下文信息，并缓解了原始查询的歧义性。此外，使用多示例学习目标，动态选择每个训练样本的最佳查询版本，从而减轻了噪声和幻觉的影响。与直接使用LLM进行时序定位的方法相比，ED-VTG通过解耦查询理解和时序定位，提高了整体性能。

关键设计：在查询富集阶段，输入包括原始文本查询和视频帧（例如，关键帧或均匀采样的帧）。多模态LLM的输出是增强后的文本查询。在时序定位阶段，解码器的输入是增强查询的表示（例如，通过Transformer编码器提取的特征），输出是视频片段的起始和结束时间。损失函数采用多示例学习目标，即对多个增强查询进行预测，并选择损失最小的查询进行反向传播。具体的参数设置包括LLM的选择、解码器的结构、以及多示例学习的采样策略等。

📊 实验亮点

ED-VTG在多个视频时序定位基准测试中取得了最先进的结果，显著优于现有的基于LLM的方法。例如，在某些数据集上，ED-VTG的性能提升超过了10%。此外，ED-VTG在零样本评估中也表现出色，表明其具有良好的泛化能力。实验结果表明，ED-VTG能够有效地利用多模态信息，并减轻噪声和幻觉的影响。

🎯 应用场景

该研究成果可应用于视频检索、智能监控、视频编辑等领域。例如，用户可以通过自然语言描述快速定位视频中的特定事件，监控系统可以自动检测异常行为，视频编辑人员可以根据文本描述精确剪辑视频片段。未来，该技术有望进一步提升人机交互的效率和智能化水平。

📄 摘要（原文）

We introduce ED-VTG, a method for fine-grained video temporal grounding utilizing multi-modal large language models. Our approach harnesses the capabilities of multimodal LLMs to jointly process text and video, in order to effectively localize natural language queries in videos through a two-stage process. Rather than being directly grounded, language queries are initially transformed into enriched sentences that incorporate missing details and cues to aid in grounding. In the second stage, these enriched queries are grounded, using a lightweight decoder, which specializes at predicting accurate boundaries conditioned on contextualized representations of the enriched queries. To mitigate noise and reduce the impact of hallucinations, our model is trained with a multiple-instance-learning objective that dynamically selects the optimal version of the query for each training sample. We demonstrate state-of-the-art results across various benchmarks in temporal video grounding and paragraph grounding settings. Experiments reveal that our method significantly outperforms all previously proposed LLM-based temporal grounding approaches and is either superior or comparable to specialized models, while maintaining a clear advantage against them in zero-shot evaluation scenarios.