ViTexQA: A Multi-Frame Temporal Perception Dataset for Video Text Question Answering

📄 arXiv: 2606.24602v1 📥 PDF

作者: Zhentao Guo, Chen Duan, Tongkun Guan, Zining Wang, Kai Zhou, Pengfei Yan

分类: cs.CV

发布日期: 2026-06-23

备注: Accepted by ECCV2026

💡 一句话要点

提出ViTexQA以解决视频文本问答中的时序感知问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频文本问答 时序感知 多模态理解 跨帧融合 强化学习 数据集构建 推理链

📋 核心要点

  1. 现有方法在视频文本理解中面临挑战，尤其是多帧时序信息的整合不足，无法满足真实场景需求。
  2. 本文提出ViTexQA数据集和FrameThinker框架，强调跨帧文本融合和时序推理，以提升视频文本问答能力。
  3. 实验结果显示，本文方法在ViTexQA上显著优于现有基线，ROUGE-L指标提升6.3%，验证了方法的有效性。

📝 摘要（中文）

尽管多模态理解取得了显著进展，现有的多模态大语言模型（MLLMs）在视频文本理解方面仍存在局限，尤其是在多个帧中整合时序分布的文本线索时。现有数据集大多数问题仅依赖单帧回答，未能充分反映真实世界视频文本理解的需求。为此，本文提出了ViTexQA，一个大规模的视频文本问答数据集，以及用于强健多帧时序推理的FrameThinker。ViTexQA通过质量控制的思维链（CoT）注释流程构建，所有问答对都要求跨帧文本融合以解决，确保真正的时序依赖。FrameThinker采用两阶段训练进行显式时序建模，首先通过CoT引导的监督微调生成帧感知推理链，随后通过多帧一致性奖励优化的时序强化学习进行训练。评估结果表明，本文方法在ViTexQA上超越了现有最先进基线，ROUGE-L提升了6.3%。

🔬 方法详解

问题定义：本文旨在解决视频文本问答中的时序感知问题，现有方法多依赖单帧信息，无法有效处理多帧间的文本融合与推理。

核心思路：通过构建ViTexQA数据集，要求所有问答对都依赖于跨帧的信息融合，同时设计FrameThinker框架以实现显式的时序建模。

技术框架：整体流程包括两个主要阶段：首先是CoT引导的监督微调，生成帧感知的推理链；其次是基于多帧一致性奖励的时序强化学习，优化推理过程。

关键创新：最重要的创新在于引入了跨帧文本融合的要求和两阶段的训练策略，使得模型能够显式地捕捉时序信息，与现有方法形成显著区别。

关键设计：在模型设计中，采用了质量控制的注释流程，确保数据集的高质量；损失函数中引入了多帧一致性奖励，以提升模型在时序推理上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，本文方法在ViTexQA数据集上显著优于现有最先进的基线，ROUGE-L指标提升了6.3%。这一提升验证了所提出的跨帧文本融合和时序推理方法的有效性，展示了其在视频文本问答任务中的潜力。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、智能家居等场景，能够提升系统在复杂视频环境下的文本理解能力，具有重要的实际价值和广泛的应用前景。未来，ViTexQA和FrameThinker的研究成果可能推动视频理解和多模态交互的进一步发展。

📄 摘要（原文）

Despite remarkable progress in multimodal understanding, current MLLMs still exhibit limitations in video text understanding, particularly when semantics emerge through the integration of temporally distributed textual cues across multiple frames. This perception challenge fundamentally differs from static image text understanding, yet existing datasets fail to capture: the vast majority of questions remain answerable from single frames, inadequately reflecting real-world video text comprehension demands. To address this, we present ViTexQA, a large-scale video-text QA dataset, and FrameThinker for robust multi-frame temporal reasoning. We build ViTexQA via a quality-controlled Chain-of-Thought (CoT) annotation pipeline boosted with temporal constraints; all its QA pairs demand cross-frame text fusion to solve, enforcing true temporal reliance. FrameThinker adopts two-stage training for explicit temporal modeling: CoT-Guided Supervised Fine-Tuning (SFT) generates frame-aware reasoning chains, followed by Temporally-grounded Reinforcement Learning (RL) optimized with multi-frame coherence rewards. Evaluations show our method outperforms SOTA baselines on ViTexQA, lifting ROUGE-L by 6.3%.