Video Understanding with Large Language Models: A Survey

📄 arXiv: 2312.17432v8 📥 PDF

作者: Yolo Y. Tang, Jing Bi, Siting Xu, Luchuan Song, Susan Liang, Teng Wang, Daoan Zhang, Jie An, Jingyang Lin, Rongyi Zhu, Ali Vosoughi, Chao Huang, Zeliang Zhang, Pinxin Liu, Mingqian Feng, Feng Zheng, Jianguo Zhang, Ping Luo, Jiebo Luo, Chenliang Xu

分类: cs.CV, cs.CL

发布日期: 2023-12-29 (更新: 2025-11-25)

备注: Accepted to IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)

🔗 代码/项目: GITHUB

💡 一句话要点

综述：利用大型语言模型进行视频理解的研究进展与未来方向

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 大型语言模型 多模态学习 视频分析 视频嵌入 综述 人工智能

📋 核心要点

  1. 现有视频理解方法难以有效处理日益增长的海量视频数据，尤其是在开放域场景下进行多粒度推理和常识知识结合方面存在挑战。
  2. 该综述全面梳理了利用大型语言模型（LLMs）进行视频理解（Vid-LLMs）的最新进展，并根据不同的架构和功能对现有方法进行了分类。
  3. 该综述总结了Vid-LLMs在各种任务、数据集和评估方法上的应用，并探讨了其在实际场景中的可扩展性和多功能性，为未来研究指明方向。

📝 摘要（中文）

随着在线视频平台蓬勃发展和视频内容数量的急剧增加，对高效视频理解工具的需求显著增加。鉴于大型语言模型（LLMs）在语言和多模态任务中表现出的卓越能力，本综述详细概述了近年来利用LLMs进行视频理解（Vid-LLMs）的最新进展。Vid-LLMs的新兴能力非常先进，特别是它们结合常识知识进行开放式的多粒度（通用、时间、时空）推理的能力，为未来的视频理解提供了一条有希望的道路。我们研究了Vid-LLMs的独特特征和能力，将方法分为三种主要类型：视频分析器 x LLM、视频嵌入器 x LLM 和（分析器 + 嵌入器）x LLM。此外，我们根据LLMs在Vid-LLMs中的功能确定了五个子类型：LLM作为摘要器、LLM作为管理器、LLM作为文本解码器、LLM作为回归器和LLM作为隐藏层。此外，本综述还全面研究了Vid-LLMs的任务、数据集、基准和评估方法。此外，它还探讨了Vid-LLMs在各个领域的广泛应用，突出了它们在现实世界视频理解挑战中的卓越可扩展性和多功能性。最后，它总结了现有Vid-LLMs的局限性，并概述了未来的研究方向。更多信息，建议读者访问https://github.com/yunlong10/Awesome-LLMs-for-Video-Understanding。

🔬 方法详解

问题定义：论文旨在解决视频理解领域中，如何有效利用大型语言模型（LLMs）来提升视频内容理解的深度和广度的问题。现有方法在处理复杂视频内容、进行多粒度推理以及有效融合常识知识方面存在不足，难以满足日益增长的视频理解需求。

核心思路：论文的核心思路是系统性地分析和总结当前利用LLMs进行视频理解的研究进展，并根据不同的架构和功能对现有方法进行分类。通过对不同方法的优缺点进行比较，为未来的研究提供指导。

技术框架：论文将现有的Vid-LLMs方法分为三大类：Video Analyzer x LLM、Video Embedder x LLM 和 (Analyzer + Embedder) x LLM。同时，根据LLMs在Vid-LLMs中的功能，又细分为五个子类型：LLM as Summarizer、LLM as Manager、LLM as Text Decoder、LLM as Regressor 和 LLM as Hidden Layer。论文还对Vid-LLMs的任务、数据集、基准和评估方法进行了全面的研究。

关键创新：该综述的创新之处在于其系统性和全面性，它不仅对现有的Vid-LLMs方法进行了详细的分类和分析，还对该领域的研究趋势和未来方向进行了展望。通过对不同方法的优缺点进行比较，为研究人员提供了有价值的参考。

关键设计：论文的关键设计在于其分类体系，它根据不同的架构和功能将现有的Vid-LLMs方法进行了细致的划分，使得研究人员可以更加清晰地了解不同方法的特点和适用场景。此外，论文还对Vid-LLMs的任务、数据集、基准和评估方法进行了全面的研究，为研究人员提供了全面的信息。

📊 实验亮点

该综述全面梳理了Vid-LLMs领域的研究进展，总结了现有方法的优缺点，并指出了未来的研究方向。通过对不同方法的分类和比较，为研究人员提供了有价值的参考，有助于推动该领域的发展。该综述还提供了丰富的资源链接，方便读者进一步学习和研究。

🎯 应用场景

该研究成果可广泛应用于视频内容分析、智能监控、自动驾驶、教育娱乐等领域。通过提升视频理解的准确性和效率，可以实现更智能的视频搜索、推荐、摘要生成等功能，为用户提供更优质的视频服务，并推动相关产业的发展。

📄 摘要（原文）

With the burgeoning growth of online video platforms and the escalating volume of video content, the demand for proficient video understanding tools has intensified markedly. Given the remarkable capabilities of large language models (LLMs) in language and multimodal tasks, this survey provides a detailed overview of recent advancements in video understanding that harness the power of LLMs (Vid-LLMs). The emergent capabilities of Vid-LLMs are surprisingly advanced, particularly their ability for open-ended multi-granularity (general, temporal, and spatiotemporal) reasoning combined with commonsense knowledge, suggesting a promising path for future video understanding. We examine the unique characteristics and capabilities of Vid-LLMs, categorizing the approaches into three main types: Video Analyzer x LLM, Video Embedder x LLM, and (Analyzer + Embedder) x LLM. Furthermore, we identify five sub-types based on the functions of LLMs in Vid-LLMs: LLM as Summarizer, LLM as Manager, LLM as Text Decoder, LLM as Regressor, and LLM as Hidden Layer. Furthermore, this survey presents a comprehensive study of the tasks, datasets, benchmarks, and evaluation methodologies for Vid-LLMs. Additionally, it explores the expansive applications of Vid-LLMs across various domains, highlighting their remarkable scalability and versatility in real-world video understanding challenges. Finally, it summarizes the limitations of existing Vid-LLMs and outlines directions for future research. For more information, readers are recommended to visit the repository at https://github.com/yunlong10/Awesome-LLMs-for-Video-Understanding.