What, Where, and How: Probing Spatiotemporal Representations in Video Foundation Models

📄 arXiv: 2609.01551v1 📥 PDF

作者: Sharon S. Musa, Fereshteh Forghani, Harrish Thasarathan, Sonia Joseph, Matthew Kowal, Konstantinos G. Derpanis

分类: cs.CV

发布日期: 2026-09-01

备注: Interactive visualizations are available at https://vid-rep-pca.netlify.app/

💡 一句话要点

通过层级分析揭示视频基础模型的时空表示特征

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频基础模型 时空表示 自监督学习 异常检测 几何组织

📋 核心要点

  1. 现有自监督视频基础模型在时空表示的视觉概念编码、层级分布及几何组织方面存在不确定性。
  2. 本研究通过层级分析和轻量级探针，系统探讨相机运动理解、直观物理和异常检测等时空属性。
  3. 实验结果显示，模型在相机运动编码上表现优异，但在直观物理任务上表现有限，且提出的样条引导方法显著提升了视频的时间连贯性。

📝 摘要（中文）

自监督视频基础模型学习丰富的时空表示，但这些表示编码了哪些视觉概念、在变换器层中何处出现以及如何几何组织仍不清楚。本研究通过对V-JEPA 2和VideoMAE-v2的系统层级分析，探讨了这三个问题。我们利用轻量级探针训练以发现三种时间基础属性：相机运动理解、直观物理和异常检测。两个模型均编码相机运动，最佳结果（>90 ROC AUC）出现在网络深度的60-70%，在异常检测任务中表现中等（>60 ROC AUC），但在直观物理任务中接近随机，表明对深层物理推理的编码有限。我们发现，单个视频的时间特征在表示空间中形成平滑的低维轨迹，表明相机运动不仅是线性可解的，而且是几何组织的。基于这些结果，我们在模型的潜在表示中应用几何感知的样条基引导，以插值相机运动，从而生成具有更平滑轨迹和更连贯时间进程的引导视频。

🔬 方法详解

问题定义：本研究旨在揭示视频基础模型中时空表示的具体特征，尤其是这些表示如何编码视觉概念及其在网络层中的分布。现有方法未能有效分析这些表示的几何组织和功能特性。

核心思路：通过对V-JEPA 2和VideoMAE-v2模型的层级分析，利用轻量级探针发现相机运动理解、直观物理和异常检测等属性，从而深入理解模型的时空表示。

技术框架：研究采用层级分析方法，分层探讨模型的时空表示，结合轻量级探针进行训练，重点分析模型在不同深度下的表现。主要模块包括探针训练、特征提取和几何组织分析。

关键创新：本研究的创新在于系统性地分析了视频基础模型的时空表示，并通过几何感知的样条引导方法提升了视频生成的时间连贯性，区别于传统的线性插值方法。

关键设计：在探针训练中，设置了针对相机运动、直观物理和异常检测的特定损失函数，优化了模型在这些任务上的表现，同时在网络结构上采用了适应性参数设置，以提高模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，模型在相机运动理解上达到了超过90的ROC AUC，在异常检测任务中超过60的ROC AUC，而在直观物理任务中表现接近随机。这表明模型在某些时空属性上具有较强的编码能力，同时通过样条引导方法生成的视频在时间连贯性上显著优于线性插值。

🎯 应用场景

该研究的成果可广泛应用于视频分析、自动驾驶、机器人视觉等领域，提升模型在复杂时空场景中的理解能力。未来，基于该研究的方法可以进一步推动视频生成技术的发展，尤其是在需要高时间连贯性的视频内容创作中。

📄 摘要（原文）

Self-supervised video foundation models learn rich spatiotemporal representations, yet it remains unclear what visual concepts these representations encode, where they emerge across transformer layers, and how they are geometrically organized. In this work, we tackle these three questions through a systematic layer-wise analysis of V-JEPA 2 and VideoMAE-v2. We leverage lightweight probes trained to discover three temporally grounded properties: (i) camera motion understanding, (ii) intuitive physics, and (iii) anomaly detection. Both models encode camera motion, with best results ($>90$ ROC AUC) emerging at 60-70% of network depth, and achieve moderate anomaly detection performance ($>60$ ROC AUC), but remain near chance on intuitive-physics tasks, suggesting a limited encoding of deeper physical reasoning. Beyond classification, we find that temporal features from individual videos form smooth low-dimensional trajectories in representation space, suggesting that camera motion is not only linearly decodable but also geometrically organized. Based on these results, we apply geometry-aware spline-based steering in the model's latent representations to interpolate camera motion, yielding steered videos with smoother trajectories and more coherent temporal progression than linear interpolation.