Confident First, Reflective Second: Reinforcement Learning of Confidence-Preserving Reflection for Video Understanding

📄 arXiv: 2610.36467v1 📥 PDF

作者: Zihao Lin, Jingyuan Liu, Yucheng Zhang, Yuguang Yao, Lifu Huang

分类: cs.CV, cs.MM

发布日期: 2026-10-27

备注: 18 pages, 8 figures

💡 一句话要点

提出CoFire以解决视频理解中的信心侵蚀问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频理解 强化学习 信心保持 长视频分析 模型优化 深度学习 自动决策

📋 核心要点

  1. 现有视频理解方法在处理长视频时容易出现信心侵蚀现象，导致初始答案的可靠性下降。
  2. 论文提出CoFire方法，通过设定初始答案的可靠性底线，确保反思过程不会削弱初始答案的信心。
  3. 实验结果显示，CoFire在多个数据集上均表现优异，显著提升了初始和最终答案的准确率。

📝 摘要（中文）

视频模型通过采样帧进行回答，可能会错过关键时刻。常见的解决方法是先给出答案，再重新审视视频以确认或修正答案。然而，现有的强化学习方法会导致初始答案的可靠性下降，称为信心侵蚀。本文提出的CoFire方法遵循“先自信，后反思”的原则，确保初始答案在参考策略设定的底线之上保持可靠性，反思过程仅能在此基础上增加信心。实验结果表明，CoFire在Video-MME、MLVU和LongVideoBench上达到了67.0%的平均准确率，超出最强对比基线7B方法1.7个百分点，并在初始答案和最终准确率上分别提升了4.1和3.7个百分点。

🔬 方法详解

问题定义：本文旨在解决视频理解中由于强化学习导致的信心侵蚀问题。现有方法在初始答案正确时，因后续修正而降低了初始答案的奖励，影响了模型的可靠性。

核心思路：CoFire方法遵循“先自信，后反思”的原则，确保初始答案在参考策略设定的底线之上保持可靠性，反思过程仅能在此基础上增加信心。

技术框架：CoFire的整体架构包括三个主要模块：奖励激励机制、参数漂移控制和梯度干扰管理。每个模块针对不同的信心侵蚀通道进行设计，以确保初始答案的稳定性。

关键创新：CoFire的核心创新在于引入了信心保持机制，确保初始答案的可靠性不被后续反思过程削弱。这一设计与传统的强化学习方法形成了本质区别。

关键设计：在参数设置上，CoFire采用了特定的损失函数来平衡初始答案的奖励与反思过程的奖励。同时，网络结构经过优化，以适应视频理解的复杂性，确保在长视频场景下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CoFire在Video-MME、MLVU和LongVideoBench数据集上达到了67.0%的平均准确率，超出最强对比基线7B方法1.7个百分点。同时，初始答案和最终答案的准确率分别提升了4.1和3.7个百分点，显示出强大的性能优势。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、智能助手等需要实时视频理解的场景。通过提升视频理解的准确性，CoFire能够在关键决策时刻提供更可靠的信息，具有重要的实际价值和未来影响。

📄 摘要（原文）

Video models answer from sampled frames and may miss the decisive moment. A common remedy is to commit to an answer, re-examine the video, and confirm or revise it, a loop now mainly learned with reinforcement learning (RL). We find that RL erodes the initial answer, a phenomenon we term confidence erosion, where confidence means the label-verified reliability of the initial answer instead of self-reported certainty: because errors can be repaired later, a correct initial answer earns less reward, and the initial answer stalls even as the final answer's gain over it rises. We propose the principle confident first, reflective second: the initial answer must stay reliable on its own, above a floor set by a reference policy, and reflection may only add to it. Our method, CoFire, implements this principle with one mechanism for each erosion channel: reward incentives, parameter drift, and gradient interference. CoFire reaches 67.0% mean accuracy on Video-MME, MLVU, and LongVideoBench, 1.7 points above the strongest compared 7B method, and improves initial-answer and final accuracy over outcome-reward RL by 4.1 and 3.7 points on average: a stronger initial answer carries through to a stronger final one.