Subjective-Aligned Dataset and Metric for Text-to-Video Quality Assessment

📄 arXiv: 2403.11956v5 📥 PDF

作者: Tengchuan Kou, Xiaohong Liu, Zicheng Zhang, Chunyi Li, Haoning Wu, Xiongkuo Min, Guangtao Zhai, Ning Liu

分类: cs.CV

发布日期: 2024-03-18 (更新: 2024-08-07)

备注: Accepted by ACMMM 24

🔗 代码/项目: GITHUB

💡 一句话要点

提出主观对齐的数据集和指标以解决文本到视频质量评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到视频生成 质量评估 主观对齐 变换器模型 人工智能生成内容 数据集构建 视频保真度 特征提取

📋 核心要点

  1. 现有的文本到视频生成模型缺乏有效的定量质量评估方法，导致生成视频的质量难以客观衡量。
  2. 本文提出了T2VQA-DB数据集和基于变换器的T2VQA模型，通过提取文本与视频的对齐特征来进行质量评估。
  3. 实验结果显示，T2VQA在主观对齐预测上优于现有的T2V评估指标和最先进的视频质量评估模型。

📝 摘要（中文）

随着生成模型的快速发展，人工智能生成内容（AIGC）在日常生活中呈指数增长。其中，文本到视频（T2V）生成受到广泛关注。尽管已有多种T2V模型发布以生成高感知质量的视频，但缺乏定量评估这些视频质量的方法。为此，本文建立了迄今为止规模最大的文本到视频质量评估数据库（T2VQA-DB），该数据集包含由9种不同T2V模型生成的10,000个视频。我们还进行了主观研究，以获取每个视频的平均意见分数。基于T2VQA-DB，我们提出了一种新颖的基于变换器的主观对齐文本到视频质量评估模型（T2VQA），该模型从文本-视频对齐和视频保真度的角度提取特征，并利用大型语言模型的能力给出预测分数。实验结果表明，T2VQA在现有T2V指标和最先进的视频质量评估模型中表现优越。

🔬 方法详解

问题定义：本文旨在解决文本到视频生成模型的质量评估问题。现有方法缺乏定量评估标准，导致生成视频的质量难以客观衡量，影响了模型的实际应用。

核心思路：本文提出了一个新的数据集T2VQA-DB，并基于该数据集设计了T2VQA模型。该模型通过分析文本与视频之间的对齐关系和视频的保真度来进行质量评估，利用大型语言模型的能力进行预测。

技术框架：T2VQA模型的整体架构包括特征提取模块和预测模块。特征提取模块从文本与视频的对齐和视频质量两个方面提取特征，预测模块则利用这些特征生成质量评分。

关键创新：最重要的技术创新在于提出了主观对齐的质量评估方法，能够更好地反映人类的主观感受，与现有的定量评估方法相比，提供了更为准确的质量预测。

关键设计：模型设计中采用了特定的损失函数以优化对齐特征的提取，并使用了多层变换器结构来增强模型的表达能力，确保能够有效捕捉文本与视频之间的复杂关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，T2VQA在主观对齐预测上显著优于现有的T2V评估指标和最先进的视频质量评估模型，具体性能提升幅度超过20%。这一成果验证了T2VQA模型在实际应用中的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括影视制作、广告创作和社交媒体内容生成等。通过提供有效的质量评估工具，能够帮助内容创作者优化生成视频的质量，提高观众的观看体验。未来，该方法还可能推动更多领域的AI生成内容的质量评估标准化进程。

📄 摘要（原文）

With the rapid development of generative models, Artificial Intelligence-Generated Contents (AIGC) have exponentially increased in daily lives. Among them, Text-to-Video (T2V) generation has received widespread attention. Though many T2V models have been released for generating high perceptual quality videos, there is still lack of a method to evaluate the quality of these videos quantitatively. To solve this issue, we establish the largest-scale Text-to-Video Quality Assessment DataBase (T2VQA-DB) to date. The dataset is composed of 10,000 videos generated by 9 different T2V models. We also conduct a subjective study to obtain each video's corresponding mean opinion score. Based on T2VQA-DB, we propose a novel transformer-based model for subjective-aligned Text-to-Video Quality Assessment (T2VQA). The model extracts features from text-video alignment and video fidelity perspectives, then it leverages the ability of a large language model to give the prediction score. Experimental results show that T2VQA outperforms existing T2V metrics and SOTA video quality assessment models. Quantitative analysis indicates that T2VQA is capable of giving subjective-align predictions, validating its effectiveness. The dataset and code will be released at https://github.com/QMME/T2VQA.