Temporal Preservation over Processing: Diagnosing and Designing Spatiotemporal Single-Stage Video Detectors

📄 arXiv: 2606.31421v1 📥 PDF

作者: Karam Tomotaki-Dawoud, Anna Hilsmann, Peter Eisert, Sebastian Bosse

分类: cs.CV, cs.AI

发布日期: 2026-06-30

💡 一句话要点

提出TemporalLens与YOLO-3D以解决视频检测中的时间推理问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 视频目标检测 时空推理 YOLO-3D TemporalLens 深度学习 实时检测 模型评估

📋 核心要点

  1. 现有单阶段视频检测器在时间推理方面存在不足，可能仅依赖单帧信息，导致评估结果不准确。
  2. 提出TemporalLens框架，通过多种方法探测模型的时间依赖性，并设计YOLO-3D以增强时空信息的利用。
  3. 实验表明，YOLO-3D在32帧下的mAP@50提升了3.7个百分点，显示出其在时空推理上的优势。

📝 摘要（中文）

单阶段视频目标检测器在时间敏感的应用中日益普及，但尚不清楚这些模型是否真正利用了时间上下文。本文从两个方向入手：首先，提出TemporalLens，一个模型无关的诊断框架，通过控制扰动、结构性遮挡、时间洗牌、冗余注入和分辨率降级等方法，探测检测器的时间依赖性。其次，详细介绍YOLO-3D，一个基于YOLOv8的模块化实时时空检测器，展示了通过主干网络保持时间深度是性能提升的主要驱动因素。结合诊断和架构，使“该检测器是否考虑时间？”成为一个可测量、可操作的问题。

🔬 方法详解

问题定义：本文旨在解决现有单阶段视频目标检测器在时间推理上的不足，现有方法往往只依赖单帧信息，未能充分利用时间上下文，导致评估结果失真。

核心思路：提出TemporalLens框架，通过多种控制扰动手段来探测检测器的时间依赖性，并设计YOLO-3D以增强模型对时间信息的利用，从而提升检测性能。

技术框架：整体架构包括TemporalLens诊断框架和YOLO-3D检测器。TemporalLens通过结构性遮挡、时间洗牌等方法评估模型的时间依赖性，而YOLO-3D则在YOLOv8的基础上进行模块化设计，强化时间信息的处理。

关键创新：TemporalLens提供了一种新的评估检测器时间推理能力的方法，能够揭示模型在时间上下文利用上的真实表现。YOLO-3D则通过保持时间深度显著提升了检测性能，成为时空检测领域的重要进展。

关键设计：YOLO-3D的设计中，主干网络的时间深度保持是关键，采用了特定的损失函数和网络结构，以确保模型在处理时空信息时的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，YOLO-3D在32帧下的mAP@50提升了3.7个百分点，相较于传统的堆叠2D模型，YOLO-3D在时间推理上表现出更强的恢复能力，能够从早期帧中恢复预测，展现出真实的时间依赖性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、监控系统和视频分析等时间敏感的场景。通过提高视频目标检测器对时间信息的利用，能够显著提升这些领域的智能化水平和安全性，未来可能推动更多实时应用的发展。

📄 摘要（原文）

Single-stage video object detectors are increasingly deployed in time-critical applications, yet it remains unclear whether these models genuinely reason over temporal context or merely exploit a single informative frame-a gap hidden by standard metrics, which reward correct predictions regardless of how they are reached. We address this from two complementary directions: first, we propose TemporalLens, a model-agnostic diagnostic framework probing temporal dependence through controlled perturbations, structured occlusions, temporal shuffling, redundancy injection, and resolution degradation, revealing whether a detector actually uses information across time. Applied to stacked-frame 2D detectors and our YOLO-3D architecture, it exposes behavioural differences invisible to mAP: stacked 2D models collapse when the target frame is removed, while spatiotemporal models recover predictions from earlier frames, a signature of real temporal reliance. Second, we detail YOLO-3D, a modular real-time spatiotemporal detector built on YOLOv8, and show that simply preserving temporal depth through the backbone is the dominant performance driver (+3.7 pp mAP@50 at 32 frames averaged across scales). Together, the diagnostics and architecture turn "does this detector reason over time?" into a measurable, actionable question.