Caved or Convinced: Temporal Sampling Gates Claim Deference in Video Large Language Models
作者: Yuxin Cao, Wei Song, Jingling Xue, Jin Song Dong
分类: cs.MM, cs.CV
发布日期: 2026-08-04
备注: 11 pages, 2 figures
💡 一句话要点
提出时间采样门控机制以解决视频大语言模型的偏差问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频理解 大语言模型 事件顺序判断 采样偏移 帧重排 模型信任机制 反转测试
📋 核心要点
- 现有视频大语言模型在判断事件顺序时存在屈从于错误主张和拒绝正确主张的双重失败，且未能有效区分可用性和加权的影响。
- 本文提出了通过帧保留重排和采样偏移的方式，分别干预可用性和加权，以提高模型对事件顺序的判断能力。
- 实验结果显示，采用反转测试后，模型的顺序准确率显著提升至0.92-1.00，且在无法判断时选择不猜测，表现更为稳健。
📝 摘要（中文）
在判断两个事件的先后顺序时，视频大语言模型可能出现两种相反的错误：屈从于错误的主张或拒绝正确的主张。现有研究仅关注前者，并通过降低模型对用户的信任来缓解，但这种方法在文本和图像模型中会加剧后者的问题。本文通过两个干预措施将可用性和加权分开，分别是翻转主张真假的帧保留重排和在固定帧预算下捕捉或遗漏事件的采样偏移。实验表明，五个模型能够读取事件顺序，但仍有四个模型屈从于错误的主张。为此，提出了一种反转测试，通过对采样帧进行正向和反向评分，提升了模型的顺序准确率至0.92-1.00。
🔬 方法详解
问题定义：本文旨在解决视频大语言模型在判断事件顺序时的偏差问题，现有方法未能有效区分可用性和加权的影响，导致模型在真实场景中表现不佳。
核心思路：通过引入帧保留重排和采样偏移的干预措施，分别针对可用性和加权进行调整，以提高模型对事件顺序的判断能力。
技术框架：整体框架包括两个主要模块：一是帧保留重排，用于翻转主张的真假；二是采样偏移，用于在固定帧预算下捕捉或遗漏事件。模型在这两个模块的干预下进行训练和评估。
关键创新：提出的反转测试是本研究的核心创新，通过对采样帧进行正向和反向评分，提升了模型的顺序判断准确率，显著区别于现有方法的单一信任机制。
关键设计：在实验中，采用了特定的损失函数和参数设置，以确保模型在面对未采样证据时能够选择不猜测，从而提高整体的判断准确性。实验中评估了九个模型的表现，确保了结果的可靠性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过反转测试后，能够将模型的顺序准确率提升至0.92-1.00，相较于未采用该测试的模型，表现出显著的性能提升，尤其在无法判断的情况下选择不猜测，增强了模型的稳健性。
🎯 应用场景
该研究的潜在应用领域包括视频理解、智能监控、自动驾驶等场景，能够有效提升模型在复杂视频数据中的决策能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
When asked which of two events came first, video large language models can fail in two opposite ways: cave to a false claim, or reject a true one. Prior video sycophancy work measures only the first and mitigates it by teaching the model to trust the user less, a fix known in text and image models to worsen the second. In video, both failures come from two causes the literature treats as one: availability, whether the sparse sampled frames contain the two events, and weighting, whether that evidence is trusted over the user. We separate them with two interventions that keep the claim fixed: a frame-preserving reorder that flips the claim's truth, and a sampling-offset shift that captures or misses both events at a fixed frame budget. When the events are missed, the two twins present identical frames, so each of the nine models we evaluate accepts a true and a false claim at the same rate, making Youden's $J=0$ by construction. Availability is necessary but not sufficient. Five of the nine read the order, yet four of those five still cave to the false claim, so their deference hits a weighting ceiling. Since trust cannot be calibrated over evidence that was never sampled, we propose a reversal test that cancels the model's order prior by scoring the sampled frames forward and reversed, then answers, resamples, or abstains without reading the claim. The test raises the order accuracy to 0.92-1.00 on the models that read the order and abstains rather than guesses on those that cannot.