CodeCap-Bench: Can Code Serve as a Good Video Caption?
作者: Jiafu Tang, Yifan Xu, Eric Tang, Junjie Zhao, Shipeng Luo, Te Sun, Haoxuan Hu, Yiyan Ji, Xinlong Chen, Zihao Wang, Yang Shi, Yuanxing Zhang, Pengfei Wan, Jiaheng Liu
分类: cs.CV
发布日期: 2026-10-27
💡 一句话要点
提出CodeCap-Bench以评估代码作为视频字幕的有效性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频字幕 代码表示 多模态学习 视频理解 自然语言处理 模型评估 推理准确性
📋 核心要点
- 现有的视频字幕方法在表达细粒度空间结构和时间动态时常显得冗长且模糊，影响信息传递的准确性。
- 本文提出使用可执行程序作为视频内容的补充表示，探索代码字幕的有效性，并引入CodeCap-Bench进行评估。
- 实验结果表明，代码字幕在推理准确性和重建保真度上优于自然语言字幕，但当前模型在捕捉复杂时间动态方面仍有待提高。
📝 摘要（中文）
视频字幕旨在通过简洁的描述保留视觉信息，但自然语言在表达细粒度空间结构和时间动态时常显得冗长且模糊。本文探讨了使用可执行程序作为视频内容的补充表示，称为代码字幕。通过与自然语言字幕在问答和视频重建任务上的比较，结果表明代码字幕在推理准确性和重建保真度上表现优越。为系统评估当前多模态大语言模型生成代码字幕的能力，本文引入了CodeCap-Bench，包含323个视频和多层次评估框架。实验显示，尽管领先的专有模型在代码字幕生成上表现良好，但在捕捉复杂时间动态方面仍存在不足。
🔬 方法详解
问题定义：本文旨在解决现有视频字幕方法在表达细粒度空间结构和时间动态时的不足，导致信息传递不准确的问题。
核心思路：通过将可执行程序作为视频内容的补充表示，探索代码字幕的有效性，利用图形原语、布局规则和时间函数来更准确地表达视觉信息。
技术框架：整体架构包括视频数据的收集、代码字幕的生成、与自然语言字幕的比较，以及在问答和视频重建任务中的评估。主要模块包括视频分类、注释生成和多层次评估框架。
关键创新：最重要的创新点在于引入代码作为视频字幕的表示形式，提供了一种新的视角来捕捉视频中的复杂信息，与传统的自然语言字幕方法形成鲜明对比。
关键设计：在设计中，采用了323个视频的多层次注释，设置了多种评估指标，并对比了专有和开源多模态大语言模型在生成代码字幕时的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，代码字幕在推理准确性和重建保真度上优于自然语言字幕，具体表现为在问答任务中推理准确率提升了XX%，视频重建任务中的保真度提升了YY%。尽管领先的专有模型表现良好，但在捕捉复杂时间动态方面仍存在显著不足。
🎯 应用场景
该研究的潜在应用领域包括视频分析、教育技术和自动化内容生成等。通过提高视频内容的表达准确性，代码字幕可以为视频理解和交互提供更强的支持，未来可能在多模态学习和人机交互中发挥重要作用。
📄 摘要（原文）
Video captioning aims to preserve visual information through compact descriptions, predominantly using natural language. However, precisely expressing fine-grained spatial structures and temporal dynamics in natural language often leads to lengthy and potentially ambiguous descriptions. In this work, we explore Code as Video Caption, a paradigm where executable programs serve as a complementary representation of visual content through graphical primitives, layout rules, and functions of time. To examine whether code captions effectively preserve video information, we compare them with natural language captions on downstream question answering and video reconstruction tasks. Our results show that code captions achieve superior reasoning accuracy and reconstruction fidelity. Despite these advantages, realizing the potential of code captioning depends on whether current multimodal large language models (MLLMs) can generate faithful code captions. To systematically assess this capability, we introduce CodeCap-Bench, which comprises 323 videos spanning five categories of structured 2D content, along with fine-grained annotations and a multi-level evaluation framework. Extensive experiments reveal that while leading proprietary MLLMs demonstrate promising code captioning capabilities, they still struggle to faithfully capture complex temporal dynamics, with open-source models lagging substantially behind.