Chronological Blindness: Benchmarking Temporal Reasoning in Vision-Language Models with CHRONOSIGHT

📄 arXiv: 2606.16334v1 📥 PDF

作者: Parthaw Goswami, Jaynto Goswami Deep

分类: cs.CV

发布日期: 2026-06-15

💡 一句话要点

提出CHRONOSIGHT以评估视觉语言模型的时间推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间推理 视觉语言模型 多模态学习 基准评估 微调技术 人类基线 图像序列分析

📋 核心要点

  1. 现有的视觉语言模型在时间推理方面的能力尚未得到充分验证，存在时间盲点的问题。
  2. 论文提出了CHRONOSIGHT基准，通过五个维度系统评估视觉时间推理能力，填补了这一研究空白。
  3. 实验结果显示，最佳开源模型在时间推理任务中的表现显著低于人类基线，且通过微调可显著提升模型性能。

📝 摘要（中文）

人类对视觉场景的感知本质上是时间性的。我们直观地识别水果的成熟或腐烂、建筑的进展或拆除，以及同一主题的两张照片之间的时间间隔。大型视觉语言模型（VLMs）是否具备这种能力仍然是一个开放且重要的问题。我们引入了CHRONOSIGHT，这是一个严格控制的基准，评估视觉时间推理的五个维度，包括图像序列的时间排序、单张图像的阶段定位、两张图像之间的时间估计、时间反转序列的检测以及时间异常值的识别。该基准包含1000个项目，涵盖八个过程家族，时间跨度从几分钟到数千年。我们评估了八个开源VLM（参数从5亿到190亿），并收集了人类表现基线。人类在各任务中的平均表现为0.89，而最佳开源模型（Qwen2.5-VL-7B）在直接提示下达到0.40，形成了我们所称的时间盲点。轻量级LoRA微调在151个示例上将CHRONODELTA的准确率从接近零提高到0.43，零样本转移到相关任务（CHRONOODD: 0.37; CHRONOREVERSE: 0.64），表明瓶颈部分在于指令遵循而非视觉感知。基准、代码和预测将在接受后发布。

🔬 方法详解

问题定义：本研究旨在解决大型视觉语言模型在时间推理能力上的不足，尤其是如何准确理解和推断图像序列的时间关系。现有方法在处理时间信息时表现不佳，导致模型在时间推理任务中存在明显的性能差距。

核心思路：论文的核心思路是通过设计一个多维度的基准CHRONOSIGHT，系统性地评估和提升视觉语言模型的时间推理能力。通过对时间推理的不同方面进行细致划分，帮助识别模型的弱点并进行针对性改进。

技术框架：CHRONOSIGHT基准包括五个主要模块：CHRONORANK（时间排序）、CHRONOLOCATE（阶段定位）、CHRONODELTA（时间估计）、CHRONOREVERSE（时间反转检测）和CHRONOODD（时间异常识别）。每个模块针对特定的时间推理任务，涵盖了从生物生长到城市动态等多个过程家族。

关键创新：最重要的技术创新在于提出了一个全面的评估框架，能够细致地分析视觉语言模型在时间推理方面的表现，并通过微调技术显著提升模型在特定任务上的准确性。与现有方法相比，CHRONOSIGHT提供了更系统的评估标准和改进路径。

关键设计：在实验中，采用了轻量级的LoRA微调方法，通过在151个示例上进行训练，显著提升了CHRONODELTA的准确率。此外，模型在零样本任务中的转移能力也得到了验证，表明其在时间推理任务中的潜在应用价值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，人类在时间推理任务中的平均表现为0.89，而最佳开源模型Qwen2.5-VL-7B在直接提示下仅达到0.40，形成了显著的时间盲点。通过LoRA微调，CHRONODELTA的准确率从接近零提升至0.43，表明微调策略在提升模型性能方面的有效性。

🎯 应用场景

该研究的潜在应用场景包括智能监控、自动驾驶、医疗影像分析等领域，能够帮助系统更好地理解和处理时间相关的信息，从而提升决策能力和响应速度。未来，CHRONOSIGHT基准的发布将推动视觉语言模型在时间推理方面的进一步研究与应用。

📄 摘要（原文）

Human perception of visual scenes is inherently temporal. We instinctively recognise whether a fruit is ripening or rotting, whether construction is progressing or being demolished, and approximately how much time separates two photographs of the same subject. Whether large vision-language models (VLMs) share this competence remains an open and practically important question. We introduce CHRONOSIGHT, a rigorously controlled benchmark evaluating five dimensions of visual temporal reasoning: CHRONORANK (chronological ordering of image sequences), CHRONOLOCATE (ordinal stage localisation from a single image), CHRONODELTA (estimation of time elapsed between two images on a logarithmic scale), CHRONOREVERSE (detection of temporally reversed sequences), and CHRONOODD (identification of a temporal outlier within a set). The benchmark comprises 1{,}000 items across eight process families (biological growth, food transformation, physical weathering, construction, environmental change, human ageing, astronomical phenomena, and urban dynamics) spanning timescales from minutes to millennia. We evaluate eight open-source VLMs (500 M to 19 B parameters) under two prompting regimes and collect human performance baselines. Human performance averages 0.89 across tasks; the best open model (Qwen2.5-VL-7B) reaches 0.40 under direct prompting, a gap we term chronological blindness. Lightweight LoRA fine-tuning on 151 examples raises CHRONODELTA accuracy from near-zero to 0.43, transferring zero-shot to related tasks (CHRONOODD: 0.37; CHRONOREVERSE: 0.64)suggesting the bottleneck is partly instruction following rather than visual perception. Benchmark, code, and predictions will be released upon acceptance.