VibeVideoBench:Evaluating Multimodal Agents on Code-Driven Video Generation
作者: Muxi Diao, Wenbin Xu, Lele Yang, Xuyang Ma, Yuzhe Chen, Jiankang Chen, Kaiyu Jiang, Changyi Liu, Haoyu Zhang, Hongyi Fu, Jianxiong Wang, Tianke Zhang, Haonan Fan, Yingxin Li, Bingyi Li, Xu Wang, Xuanyu Zheng, Bin Wen, Tingting Gao, Han Li, Wentao Zhang, Weiran Xu, Kongming Liang, Zhanyu Ma
分类: cs.CV
发布日期: 2026-10-26
💡 一句话要点
提出VibeVideoBench以评估代码驱动的视频生成多模态智能体
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频生成 多模态智能体 基准评估 代码驱动 扩散模型 任务特定评估 人工智能 机器学习
📋 核心要点
- 现有的扩散视频模型在生成视频时无法保证内容的准确性和一致性，导致生成结果的质量不稳定。
- VibeVideoBench通过设计239个多样化的任务，要求智能体在规定时间内生成符合特定要求的视频，提供了一种新的评估框架。
- 实验结果显示，尽管领先的智能体系统在整体表现上优于其他系统，但仍有大量视频未能按时生成，显示出当前技术的局限性。
📝 摘要（中文）
扩散视频模型虽然能够生成引人注目的短片，但在精确渲染公式、正确图表、规则一致的游戏或与屏幕事件同步的叙述方面存在局限。为此，出现了一种新方法：多模态智能体通过编写代码来渲染每一帧并合成每一声响。本文介绍了VibeVideoBench，这是一个用于评估智能体在代码驱动视频生成方面的基准，包含239个自包含的任务，涵盖12个类别，要求智能体在一小时内交付带声音的完整MP4视频。评估采用分层和基于证据的方法，涉及程序检查、约13,000个任务特定的评分标准以及五个质量维度。尽管在九个前沿智能体系统和2,151个评分结果中，GPT-6 Astra和Claude Opus 5.5表现突出，但即使是最佳系统在约四分之一的任务上也未能满足核心要求。
🔬 方法详解
问题定义：本文旨在解决现有扩散视频模型在生成视频时无法保证内容准确性和一致性的问题。现有方法在渲染公式、图表和叙述同步等方面存在显著不足。
核心思路：VibeVideoBench的核心思路是通过多模态智能体编写代码来生成视频的每一帧和声音，从而提高生成视频的准确性和一致性。此设计旨在通过代码驱动的方式，确保生成内容符合预定的规范和要求。
技术框架：VibeVideoBench的整体架构包括239个自包含的任务，分为12个类别，智能体在一个沙盒环境中运行，需在一小时内交付完整的MP4视频。评估过程分为程序检查、任务特定评分标准和质量维度评估。
关键创新：该研究的关键创新在于提出了一个系统化的评估基准，结合了多模态智能体的代码生成能力与严格的任务要求，显著区别于传统的视频生成方法。
关键设计：在设计中，任务的多样性和复杂性被充分考虑，评估标准包括程序检查和质量维度，确保了评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，尽管GPT-6 Astra和Claude Opus 5.5在整体表现上领先，但约四分之一的任务未能满足核心要求，显示出当前技术在视频生成时的局限性。此外，三分之二的未生成视频是由于启动延迟或运行缓慢造成的，强调了生成效率的重要性。
🎯 应用场景
VibeVideoBench的研究成果在教育、娱乐和数据可视化等多个领域具有广泛的应用潜力。通过提高视频生成的准确性和一致性，该技术可以用于制作教学视频、游戏动画以及数据驱动的故事叙述，推动多模态智能体在实际应用中的发展。
📄 摘要（原文）
Diffusion video models produce striking clips, but they cannot reliably render an exact formula, a correct chart, a ruleconsistent game or narration synchronized to on-screen events. A different route is emerging: multimodal agents that write code to render every frame and synthesize every sound. We introduce VibeVideoBench, a benchmark for evaluating agents on code-driven video generation. Its 239 self-contained tasks in English and Chinese span 12 categories, from data stories and music-driven pieces to classroom lessons and paper explainers; each asks an agent, running in its native harness inside a sandbox, to deliver a finished MP4 with sound within one hour. Evaluation is hierarchical and evidence-based: program checks of the delivery spec, about 13k task-specific rubric checks traced to the requirements they enforce, and five quality dimensions anchored per task, judged by three VLM judge panels and validated with blind human preferences. Across nine frontier agent systems and 2,151 scored rollouts, the benchmark is far from solved: GPT-6 Astra and Claude Opus 5.5 lead clearly, yet even the best system fails a core requirement on about a quarter of tasks. Whether a video arrives at all matters as much as its quality, and three quarters of the lost videos are final renders started too late, run too slowly or never started. The judges agree with each other and with human preferences on system rankings, but only moderately on individual videos.