OST: Refining Text Knowledge with Optimal Spatio-Temporal Descriptor for General Video Recognition

📄 arXiv: 2312.00096v2 📥 PDF

作者: Tongjia Chen, Hongshan Yu, Zhengeng Yang, Zechuan Li, Wei Sun, Chen Chen

分类: cs.CV

发布日期: 2023-11-30 (更新: 2024-03-28)

备注: Technical report. Project Page: https://tomchen-ctj.github.io/OST/

💡 一句话要点

提出OST方法以优化视频识别中的文本知识

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频识别 时空描述符 文本知识优化 多模态学习 零-shot学习

📋 核心要点

  1. 现有方法在处理视频识别时，往往忽视了描述性叙述和动作类别名称之间的语义差异，导致性能受限。
  2. 本文提出通过大型语言模型优化动作类别名称为时空描述符，弥合文本差异，提升视频识别的泛化能力。
  3. 实验结果表明，所提方法在零-shot、少-shot和完全监督的视频识别任务中均显著提升，最佳模型在Kinetics-600上达到了75.1%的零-shot准确率。

📝 摘要（中文）

由于在大规模视频数据上训练视觉-语言模型的资源消耗，现有研究多集中于将预训练的图像-语言模型适应于视频领域。现有方法往往通过额外的时间学习器来解决视觉差异，但忽视了网络规模描述性叙述和简洁动作类别名称之间的显著差异，导致语义空间不够清晰，性能受限。本文优先考虑文本知识的优化，以促进可泛化的视频识别。我们通过大型语言模型（LLM）增强动作类别名称为时空描述符，从而弥合文本差异，作为一般识别的知识库。此外，我们提出了最佳描述符求解器，将视频识别问题形式化为在帧级表示和描述符之间解决最佳匹配流。全面评估显示我们的方法在零-shot、少-shot和完全监督的视频识别中均表现出色，最佳模型在Kinetics-600上实现了75.1%的零-shot准确率，达到了最新的研究水平。

🔬 方法详解

问题定义：本文旨在解决现有视频识别方法中，视觉差异和文本描述之间的显著不匹配问题。现有方法通常依赖于额外的时间学习器，未能有效处理描述性叙述和动作类别名称的语义差异，导致识别性能受限。

核心思路：我们提出通过大型语言模型（LLM）将动作类别名称增强为时空描述符，从而弥合文本差异。这一设计旨在构建一个更为清晰的语义空间，以支持更有效的视频识别。

技术框架：整体架构包括两个主要模块：首先，利用LLM生成时空描述符；其次，采用最佳描述符求解器，将视频识别问题转化为在帧级表示和描述符之间的最佳匹配流问题。

关键创新：本文的主要创新在于引入了最佳描述符求解器，通过优化匹配流来选择最合适的描述符。这一方法与传统的视觉-语言模型适应策略有本质区别，强调了文本知识的优化。

关键设计：在技术细节上，我们设计了特定的损失函数以优化描述符的选择，并在网络结构中引入了时空特征提取模块，以增强模型对视频内容的理解。

📊 实验亮点

在实验中，所提方法在零-shot、少-shot和完全监督的视频识别任务中均表现出色，最佳模型在Kinetics-600数据集上达到了75.1%的零-shot准确率，显著超越了现有基线，展示了其在视频识别领域的领先地位。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动视频标注、智能视频检索等。通过优化文本知识，能够提升视频识别系统的准确性和泛化能力，具有重要的实际价值和广泛的应用前景。未来，该方法可能推动更多多模态学习的研究，促进视频理解技术的发展。

📄 摘要（原文）

Due to the resource-intensive nature of training vision-language models on expansive video data, a majority of studies have centered on adapting pre-trained image-language models to the video domain. Dominant pipelines propose to tackle the visual discrepancies with additional temporal learners while overlooking the substantial discrepancy for web-scaled descriptive narratives and concise action category names, leading to less distinct semantic space and potential performance limitations. In this work, we prioritize the refinement of text knowledge to facilitate generalizable video recognition. To address the limitations of the less distinct semantic space of category names, we prompt a large language model (LLM) to augment action class names into Spatio-Temporal Descriptors thus bridging the textual discrepancy and serving as a knowledge base for general recognition. Moreover, to assign the best descriptors with different video instances, we propose Optimal Descriptor Solver, forming the video recognition problem as solving the optimal matching flow across frame-level representations and descriptors. Comprehensive evaluations in zero-shot, few-shot, and fully supervised video recognition highlight the effectiveness of our approach. Our best model achieves a state-of-the-art zero-shot accuracy of 75.1% on Kinetics-600.