TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions

📄 arXiv: 2602.08711 📥 PDF

作者: Linli Yao, Yuancheng Wei, Yaojie Zhang, Lei Li, Xinlong Chen, Feifan Song, Ziyue Wang, Kun Ouyang, Yuanxin Liu, Lingpeng Kong, Qi Liu, Pengfei Wan, Kun Gai, Yuanxing Zhang, Xu Sun

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出Omni Dense Captioning以解决多场景视频描述问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多场景视频 音视频描述 时间感知 结构化字幕 深度学习

📋 核心要点

  1. 现有方法在生成多场景视频描述时，往往缺乏细致的语义覆盖和时间信息，导致描述不够准确和生动。
  2. 本文提出的Omni Dense Captioning通过六维结构模式生成“剧本式”字幕，增强了描述的连贯性和细致性，使得视频内容更易于理解。
  3. 实验表明，TimeChat-Captioner-7B在多个基准测试中表现优异，超越了现有的最佳模型，显著提升了音视频推理和时间定位的能力。

📝 摘要（中文）

本文提出了一种新任务Omni Dense Captioning，旨在生成连续、细致且结构化的音视频叙述，并带有明确的时间戳。为确保语义覆盖的密集性，作者引入了六维结构模式，创建类似剧本的字幕，使读者能够逐场景生动想象视频内容。为促进研究，构建了高质量的人类标注基准OmniDCBench，并提出了SodaM这一统一评估指标，旨在评估时间感知的详细描述，同时减少场景边界模糊性。此外，构建了训练数据集TimeChatCap-42K，并提出了基于SFT和GRPO的强基线模型TimeChat-Captioner-7B。实验结果表明，TimeChat-Captioner-7B在性能上超越了Gemini-2.5-Pro，其生成的密集描述显著提升了音视频推理和时间定位的下游能力。

🔬 方法详解

问题定义：本文旨在解决多场景视频描述中的语义覆盖不足和时间信息缺失的问题。现有方法往往无法提供细致且结构化的描述，导致用户难以准确理解视频内容。

核心思路：论文提出了Omni Dense Captioning任务，通过引入六维结构模式生成带有时间戳的“剧本式”字幕，使得描述更具连贯性和细致性，帮助用户逐场景理解视频内容。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。首先，构建高质量的训练数据集TimeChatCap-42K；其次，训练模型TimeChat-Captioner-7B，采用SFT和GRPO方法；最后，使用SodaM评估生成描述的质量。

关键创新：最重要的创新点在于六维结构模式的引入，使得生成的字幕不仅包含时间信息，还能提供丰富的语义信息，显著提升了描述的质量和可读性。与现有方法相比，本文的方法在语义覆盖和时间感知上具有本质的区别。

关键设计：在模型设计中，采用了任务特定的奖励机制，优化了训练过程。此外，SodaM作为评估指标，专门针对时间感知的描述进行了设计，减少了场景边界模糊性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TimeChat-Captioner-7B在多个基准测试中表现优异，超越了Gemini-2.5-Pro，具体性能提升幅度达到XX%。生成的密集描述在音视频推理（DailyOmni和WorldSense）和时间定位（Charades-STA）任务中显著提高了下游能力，证明了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括视频内容创作、教育培训、影视制作等。通过生成结构化的音视频描述，可以帮助创作者更好地传达信息，同时也为观众提供更清晰的理解。此外，该技术在自动化视频分析和检索系统中也具有重要价值，能够提升用户体验和信息获取效率。

📄 摘要（原文）

This paper proposes Omni Dense Captioning, a novel task designed to generate continuous, fine-grained, and structured audio-visual narratives with explicit timestamps. To ensure dense semantic coverage, we introduce a six-dimensional structural schema to create "script-like" captions, enabling readers to vividly imagine the video content scene by scene, akin to a cinematographic screenplay. To facilitate research, we construct OmniDCBench, a high-quality, human-annotated benchmark, and propose SodaM, a unified metric that evaluates time-aware detailed descriptions while mitigating scene boundary ambiguity. Furthermore, we construct a training dataset, TimeChatCap-42K, and present TimeChat-Captioner-7B, a strong baseline trained via SFT and GRPO with task-specific rewards. Extensive experiments demonstrate that TimeChat-Captioner-7B achieves state-of-the-art performance, surpassing Gemini-2.5-Pro, while its generated dense descriptions significantly boost downstream capabilities in audio-visual reasoning (DailyOmni and WorldSense) and temporal grounding (Charades-STA). All datasets, models, and code are available atthis https URL.