LITA: Language Instructed Temporal-Localization Assistant
作者: De-An Huang, Shijia Liao, Subhashree Radhakrishnan, Hongxu Yin, Pavlo Molchanov, Zhiding Yu, Jan Kautz
分类: cs.CV, cs.AI
发布日期: 2024-03-27
🔗 代码/项目: GITHUB
💡 一句话要点
提出LITA以解决视频中的时间定位问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间定位 多模态学习 视频理解 推理任务 大语言模型
📋 核心要点
- 现有多模态大语言模型在视频输入的时间定位能力不足，无法准确回答时间相关问题。
- 提出LITA，通过引入时间标记和SlowFast标记，改善时间表示和架构设计，同时强调时间定位数据。
- LITA在推理时间定位任务上表现优异，mIoU几乎翻倍，并在视频文本生成上相较于现有模型有36%的相对提升。
📝 摘要（中文）
在多模态大语言模型（LLMs）取得显著进展的背景下，现有模型在视频输入的时间定位能力上仍存在不足。本文提出了语言指令时间定位助手（LITA），通过引入时间标记、SlowFast标记和新的推理时间定位任务，显著提升了视频理解中的时间定位能力。LITA在这一挑战性任务上表现出色，几乎将基线的时间均值交并比（mIoU）翻倍，并在视频基础文本生成方面也取得了显著改善。
🔬 方法详解
问题定义：本文旨在解决现有多模态大语言模型在视频理解中无法准确进行时间定位的问题，主要痛点在于时间表示、架构设计和数据不足。
核心思路：LITA通过引入时间标记和SlowFast标记来增强时间信息的表示能力，并提出新的推理时间定位任务，以提升模型的时间定位能力。
技术框架：LITA的整体架构包括时间标记模块、SlowFast标记模块和推理时间定位任务模块。时间标记用于编码视频长度相关的时间戳，SlowFast标记则用于捕捉细粒度的时间信息。
关键创新：LITA的主要创新在于引入了时间标记和SlowFast标记，这与现有方法的时间表示方式有本质区别，显著提升了时间定位的准确性。
关键设计：在模型设计中，时间标记用于表示视频中的时间戳，SlowFast标记则通过多层次的时间信息捕捉来增强模型的时间理解能力，同时，LITA还引入了新的推理时间定位数据集以支持模型训练和评估。
📊 实验亮点
LITA在推理时间定位任务上表现出色，几乎将基线的时间均值交并比（mIoU）翻倍，显示出其在时间定位能力上的显著提升。此外，LITA在视频基础文本生成方面也实现了36%的相对提升，证明了其在多模态理解中的有效性。
🎯 应用场景
LITA的研究成果在视频理解、智能监控、自动视频摘要和人机交互等领域具有广泛的应用潜力。通过提升视频中的时间定位能力，LITA能够为多种实际场景提供更准确的时间信息，从而改善用户体验和决策支持。未来，LITA的技术可以进一步扩展到更复杂的多模态任务中，推动智能系统的发展。
📄 摘要（原文）
There has been tremendous progress in multimodal Large Language Models (LLMs). Recent works have extended these models to video input with promising instruction following capabilities. However, an important missing piece is temporal localization. These models cannot accurately answer the "When?" questions. We identify three key aspects that limit their temporal localization capabilities: (i) time representation, (ii) architecture, and (iii) data. We address these shortcomings by proposing Language Instructed Temporal-Localization Assistant (LITA) with the following features: (1) We introduce time tokens that encode timestamps relative to the video length to better represent time in videos. (2) We introduce SlowFast tokens in the architecture to capture temporal information at fine temporal resolution. (3) We emphasize temporal localization data for LITA. In addition to leveraging existing video datasets with timestamps, we propose a new task, Reasoning Temporal Localization (RTL), along with the dataset, ActivityNet-RTL, for learning and evaluating this task. Reasoning temporal localization requires both the reasoning and temporal localization of Video LLMs. LITA demonstrates strong performance on this challenging task, nearly doubling the temporal mean intersection-over-union (mIoU) of baselines. In addition, we show that our emphasis on temporal localization also substantially improves video-based text generation compared to existing Video LLMs, including a 36% relative improvement of Temporal Understanding. Code is available at: https://github.com/NVlabs/LITA