Temporal-Guided Visual Foundation Models for Event-Based Vision

📄 arXiv: 2511.06238v1 📥 PDF

作者: Ruihao Xia, Junhong Cai, Luziwei Leng, Liuyi Wang, Chengju Liu, Ran Cheng, Yang Tang, Pan Zhou

分类: cs.CV

发布日期: 2025-11-09

🔗 代码/项目: GITHUB

💡 一句话要点

提出TGVFM，利用时序引导的视觉基础模型解决事件相机视觉任务

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 事件相机 视觉基础模型 时序建模 深度学习 语义分割 深度估计 目标检测

📋 核心要点

  1. 现有事件相机视觉方法依赖专用架构或高成本训练，未能充分利用图像预训练的视觉基础模型。
  2. TGVFM通过时序上下文融合块集成视觉基础模型，利用长程时序注意力和双时空注意力建模时序依赖和帧相关性。
  3. 实验表明，TGVFM在语义分割、深度估计和目标检测任务上均取得SOTA结果，性能显著提升。

📝 摘要（中文）

事件相机在复杂环境中具有独特优势，但异步事件流的处理仍是挑战。现有方法依赖专用架构或高资源消耗的训练，而利用图像数据预训练的现代视觉基础模型(VFM)在事件视觉中的潜力尚未充分挖掘。为此，我们提出了时序引导的VFM(TGVFM)框架，它将VFM与我们的时序上下文融合块无缝集成。该时序块包含三个关键组件：(1)长程时序注意力，用于建模全局时序依赖；(2)双时空注意力，用于多尺度帧相关性；(3)深度特征引导机制，用于融合语义-时序特征。通过在真实数据上重新训练事件到视频模型并利用基于Transformer的VFM，TGVFM在保留时空动态的同时，利用了预训练的表示。实验表明，在语义分割、深度估计和目标检测方面，TGVFM实现了SoTA性能，分别比现有方法提高了16%、21%和16%。总的来说，这项工作通过时序推理，释放了基于图像的VFM在事件视觉中的跨模态潜力。

🔬 方法详解

问题定义：事件相机产生的异步事件流难以处理，现有方法通常需要专门设计的网络结构或耗费大量资源进行训练。如何有效利用在图像数据上预训练的视觉基础模型（VFMs）来提升事件相机视觉任务的性能是一个关键问题。现有方法的痛点在于无法有效桥接图像域和事件域之间的差异，以及缺乏对事件流中时序信息的充分利用。

核心思路：论文的核心思路是通过一个时序引导模块，将预训练的视觉基础模型与事件数据进行有效融合。该模块旨在提取和利用事件流中的时序信息，并将其与视觉基础模型提取的图像特征相结合，从而提升事件相机视觉任务的性能。这样设计的目的是为了充分利用预训练模型的强大表征能力，同时克服事件数据异步性和稀疏性的挑战。

技术框架：TGVFM框架主要包含三个核心模块：事件到视频的转换模块（将事件流转换为视频帧）、视觉基础模型（提取图像特征）和时序上下文融合块。时序上下文融合块是该框架的关键创新，它包含长程时序注意力、双时空注意力和深度特征引导机制。首先，事件流被转换为视频帧。然后，视觉基础模型提取视频帧的图像特征。最后，时序上下文融合块利用长程时序注意力建模全局时序依赖，利用双时空注意力进行多尺度帧相关性分析，并利用深度特征引导机制融合语义-时序特征。

关键创新：该论文最重要的技术创新点在于提出的时序上下文融合块，它能够有效地提取和利用事件流中的时序信息，并将其与视觉基础模型提取的图像特征相结合。与现有方法相比，TGVFM无需从头开始训练复杂的网络结构，而是通过微调预训练的视觉基础模型，实现了更高的性能和更快的收敛速度。此外，长程时序注意力和双时空注意力的设计能够更好地捕捉事件流中的时序依赖关系和空间相关性。

关键设计：长程时序注意力采用Transformer结构，用于建模全局时序依赖关系。双时空注意力模块包含空间注意力和时间注意力两个分支，分别用于提取空间特征和时间特征，并通过交叉注意力机制进行融合。深度特征引导机制利用视觉基础模型提取的深度特征作为引导信号，指导时序上下文融合块的学习过程。损失函数方面，论文采用了交叉熵损失函数和L1损失函数的组合，用于优化语义分割、深度估计和目标检测任务。

📊 实验亮点

TGVFM在三个主流的事件相机视觉任务上取得了显著的性能提升。在语义分割任务上，TGVFM比现有方法提高了16%；在深度估计任务上，TGVFM提高了21%；在目标检测任务上，TGVFM提高了16%。这些结果表明，TGVFM能够有效地利用预训练的视觉基础模型和事件流中的时序信息，从而实现更高的精度和鲁棒性。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、监控安防等领域。事件相机在高速运动、高动态范围和低光照等场景下具有优势，结合TGVFM框架，可以提升这些场景下的感知能力，例如提高自动驾驶车辆在夜间或雨雾天气下的安全性，增强机器人在复杂环境中的导航能力，以及提升监控系统在光线不足环境下的目标检测和跟踪性能。

📄 摘要（原文）

Event cameras offer unique advantages for vision tasks in challenging environments, yet processing asynchronous event streams remains an open challenge. While existing methods rely on specialized architectures or resource-intensive training, the potential of leveraging modern Visual Foundation Models (VFMs) pretrained on image data remains under-explored for event-based vision. To address this, we propose Temporal-Guided VFM (TGVFM), a novel framework that integrates VFMs with our temporal context fusion block seamlessly to bridge this gap. Our temporal block introduces three key components: (1) Long-Range Temporal Attention to model global temporal dependencies, (2) Dual Spatiotemporal Attention for multi-scale frame correlation, and (3) Deep Feature Guidance Mechanism to fuse semantic-temporal features. By retraining event-to-video models on real-world data and leveraging transformer-based VFMs, TGVFM preserves spatiotemporal dynamics while harnessing pretrained representations. Experiments demonstrate SoTA performance across semantic segmentation, depth estimation, and object detection, with improvements of 16%, 21%, and 16% over existing methods, respectively. Overall, this work unlocks the cross-modality potential of image-based VFMs for event-based vision with temporal reasoning. Code is available at https://github.com/XiaRho/TGVFM.