What Does the Model See? Representation Validity in Multimodal LLM-Based Video Analysis
作者: Christian Pipal, Eva-Maria Vogel, Morgan Wack
分类: cs.CV, cs.CL
发布日期: 2026-11-03
💡 一句话要点
提出多模态输入有效性分析以优化视频分析模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态分析 视频理解 表示有效性 大型语言模型 社会科学研究
📋 核心要点
- 现有多模态视频分析方法在输入表示选择上缺乏一致性，导致性能波动。
- 本文提出通过分析不同输入表示的有效性，来优化视频分析模型的输入选择。
- 实验结果显示，原生视频和提取文本的性能差异显著，且结合输入的效果有限。
📝 摘要（中文）
多模态大型语言模型（MLLMs）使社会科学家能够大规模分析视频，但研究人员需决定输入视频的哪些部分。本文使用“表示有效性”一词，探讨文本、音频、视频及其组合输入如何影响测量和后续分析。通过比较六个开放权重的MLLM和三个人工标注的视频数据集，发现没有一种表示方式始终表现最佳。在七个与新闻相关的构念上，原生视频的性能变化不大，而提取文本的性能差异较大。结合输入通常不会提高性能，且更高的分类准确率并不总能产生更接近人类编码的估计。因此，输入表示需要针对所测构念和从结果标签中估计的数量进行验证。
🔬 方法详解
问题定义：本文旨在解决多模态输入表示对视频分析结果的影响问题。现有方法在输入选择上缺乏系统性验证，导致分析结果不一致。
核心思路：通过定义“表示有效性”，比较不同输入形式（文本、音频、视频及其组合）对模型性能的影响，以指导研究人员选择最佳输入。
技术框架：研究采用六个开放权重的MLLM和三个人工标注的视频数据集，分析不同输入表示在七个新闻相关构念上的表现。主要模块包括输入表示选择、模型训练和性能评估。
关键创新：提出了“表示有效性”的概念，系统性地比较了多种输入形式的效果，揭示了输入选择对模型性能的深远影响。
关键设计：在实验中，使用了多种输入组合和评估指标（如宏F1分数），并分析了不同模型在不同输入下的表现差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在七个新闻相关构念上，原生视频的宏F1分数为0.70至0.77，而提取文本的宏F1分数则在0.52至0.80之间。即使使用最高F1的表示，仍有45%的样本估计与人类编码基准相差超过十个百分点，表明输入表示的选择至关重要。
🎯 应用场景
该研究为社会科学领域的视频分析提供了新的视角，帮助研究人员在使用多模态模型时做出更明智的输入选择。其方法论可推广至其他领域，如行为分析、市场研究等，具有广泛的实际应用价值。
📄 摘要（原文）
Multimodal large language models (MLLMs) allow social scientists to analyze video at scale, but researchers must decide which parts of a video to provide as input. We use the term representation validity to examine how text, audio, video, and combined inputs affect measurement and subsequent analysis. We compare input representations across six open-weight MLLMs and three human-annotated video datasets. No representation consistently performs best. On seven news-related constructs, native-video performance varies little across models (macro-F1 = .70-.77), while extracted-text performance ranges from .52 to .80. Three models perform better with text and three with video. Combining inputs rarely improves performance. Higher classification accuracy also does not reliably produce estimates closer to those based on human codes. The highest-F1 representation best reproduces human-coded regression coefficients in 17 of 42 comparisons. Even when each model uses its highest-F1 deployable representation, 45% of sample-prevalence estimates differ from the human-coded benchmark by more than ten percentage points. Input representation therefore requires validation for both the construct being measured and the quantity estimated from the resulting labels.