Chains That See, Answers That Don't: A Multi-Aspect Evaluation Recipe for Forced Chain-of-Thought on Video-MME

📄 arXiv: 2606.22862v1 📥 PDF

作者: Zhichao Fan, Yanhang Li, Zexin Zhuang

分类: cs.CV, cs.LG

发布日期: 2026-06-22

备注: 10 pages, 5 figures. To appear at The 2nd Workshop on Evaluation for Multimodal Generation @ SIGIR 2026 (EvalMG '26)

💡 一句话要点

提出多方面评估方法以验证视频问答中的强制思维链假设

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频问答 强制思维链 多模态评估 视觉语言模型 性能分析

📋 核心要点

  1. 现有的视觉语言模型在视频问答任务中，强制思维链的有效性尚未得到充分验证，存在不确定性。
  2. 本文提出了一种三探针评估方法，通过多种条件下的准确性对比，系统性地测试强制思维链的假设。
  3. 实验结果表明，尽管CoT链对视频输入高度敏感，但强制CoT并未提高多项选择题的准确性，反而在某些情况下导致性能下降。

📝 摘要（中文）

强制思维链（CoT）被广泛认为能提高视觉语言模型在视频问答中的可靠性。本文提出了一种小型三探针评估方法来验证这一假设，包括直接、CoT、答案优先和无视频条件下的配对准确性；对CoT链的反事实视频交换诊断；以及四级视觉降级梯度。结果显示，CoT链对视频条件高度依赖，但强制CoT并未提升多项选择题准确性，且在较小的7B模型中，基于后验主要评分选择的结果显示出轻微但统计显著的下降。作者不主张这一结果可以推广至Qwen2.5-VL / Video-MME以外的实例，原始响应和单一重计算脚本将随补充材料发布，以便重新推导每个数字。

🔬 方法详解

问题定义：本文旨在验证强制思维链在视频问答中的有效性，现有方法未能充分探讨其对模型性能的影响，尤其是在视频输入变化时的表现。

核心思路：提出一种小型三探针评估方法，通过对比不同条件下的准确性，分析强制思维链的实际效果，特别是其对视频输入的依赖性。

技术框架：评估方法包括三个主要模块：1) 配对准确性评估，比较直接、CoT、答案优先和无视频条件；2) 反事实视频交换诊断，分析CoT链的稳定性；3) 四级视觉降级梯度，测试模型在不同视频质量下的表现。

关键创新：最重要的创新在于提出了多维度的评估框架，能够系统性地分析强制思维链的表现及其对视频输入的敏感性，这与以往单一评估方法有显著区别。

关键设计：在评估中使用了严格和宽松的正则表达式评分器，并对主要家族进行了多重性校正，确保结果的可靠性和可重复性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，强制思维链对视频输入高度依赖，视频交换导致链重叠崩溃，最终结果显著变化。然而，在相同数据上，强制CoT未能提升多项选择题准确性，且在7B模型中表现出轻微的性能下降，提供了重要的反思数据。

🎯 应用场景

该研究的潜在应用领域包括视频问答系统、智能助手和多模态学习等。通过验证强制思维链的有效性，可以为未来的视觉语言模型设计提供指导，提升其在复杂场景下的表现，具有重要的实际价值和研究意义。

📄 摘要（原文）

Forced chain-of-thought (CoT) is widely assumed to make vision-language models more reliable on video question answering. We propose a small three-probe evaluation recipe to test that assumption: paired accuracy across direct, CoT, answer-first, and no-video conditions; a counterfactual video-swap diagnostic over the CoT chains; and a four-rung visual-degradation ladder. Each probe is reported under both a strict and a permissive regex scorer, with multiplicity correction over a manuscript-declared primary family. Applied to Qwen2.5-VL on Video-MME subsets, the recipe returns a two-part finding. The CoT chains are strongly video-conditioned: swapping the input video collapses chain overlap and flips most final letters, the opposite of what a "boilerplate-chain" null would predict. Yet on the same data, forced CoT does not improve MCQ accuracy, and on the smaller 7B model it produces a small but statistically supported drop under a post-hoc primary scorer choice. We do not claim this generalizes beyond the Qwen2.5-VL / Video-MME instantiation; the raw responses and a single recomputation script will be released with the supplementary material so every number can be re-derived.