V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning

📄 arXiv: 2603.14482 📥 PDF

作者: Lorenzo Mur-Labadia, Matthew Muckley, Amir Bar, Mido Assran, Koustuv Sinha, Mike Rabbat, Yann LeCun, Nicolas Ballas, Adrien Bardes

分类: cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出V-JEPA 2.1以解决视频自监督学习中的密集特征学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 视频自监督学习 密集特征学习 深度自监督 多模态标记器 视觉表示 机器人导航 全局场景理解

📋 核心要点

  1. 现有自监督学习方法在视频和图像的密集特征学习上存在不足，难以同时实现高质量表示和全局场景理解。
  2. V-JEPA 2.1通过密集预测损失、深度自监督、多模态标记器和有效扩展等四个关键组件，提升了视觉表示的质量。
  3. 在多个基准测试中，V-JEPA 2.1实现了最先进的性能，包括在Ego4D上达到7.71 mAP和在EPIC-KITCHENS上达到40.8 Recall@5。

📝 摘要（中文）

我们提出了V-JEPA 2.1，这是一系列自监督模型，旨在为图像和视频学习高质量的密集视觉表示，同时保持强大的全局场景理解能力。该方法结合了四个关键组件：首先，密集预测损失使用基于掩码的目标，使可见和被掩码的标记都能为训练信号贡献，促进空间和时间的明确基础。其次，深度自监督在多个中间编码器层上分层应用自监督目标，以提高表示质量。第三，多模态标记器实现了图像和视频的统一训练。最后，模型在模型容量和训练数据方面的有效扩展使其受益。这些设计选择共同产生了空间结构化、语义一致和时间一致的表示。

🔬 方法详解

问题定义：论文旨在解决视频自监督学习中密集特征学习的挑战，现有方法往往无法同时兼顾高质量的视觉表示和全局场景理解能力。

核心思路：V-JEPA 2.1通过引入密集预测损失和深度自监督等机制，增强了模型在空间和时间上的理解能力，从而提升了表示质量。

技术框架：该模型的整体架构包括四个主要模块：密集预测损失、分层自监督、多模态标记器和有效扩展。密集预测损失通过掩码机制优化训练信号，分层自监督在多个编码层上应用自监督目标。

关键创新：最重要的技术创新在于密集预测损失的设计，使得可见和被掩码的标记都能参与训练，从而促进了空间和时间的明确基础，这与现有方法的单一标记训练方式有本质区别。

关键设计：模型在损失函数上采用了掩码机制，网络结构上实现了多模态标记器的统一训练，且在模型容量和训练数据上进行了有效扩展，以确保模型的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

V-JEPA 2.1在多个基准测试中表现出色，Ego4D上达到7.71 mAP，EPIC-KITCHENS上达到40.8 Recall@5，相较于V-JEPA-2 AC在真实机器人抓取成功率上提升了20个百分点，同时在TartanDrive和NYUv2等任务中也取得了显著的性能提升。

🎯 应用场景

V-JEPA 2.1在视频理解、机器人导航和深度估计等领域具有广泛的应用潜力。其高质量的视觉表示能够提升机器人在复杂环境中的决策能力，促进智能系统在动态场景中的表现，未来可能在自动驾驶、智能监控等领域发挥重要作用。

📄 摘要（原文）

We present V-JEPA 2.1, a family of self-supervised models that learn dense, high-quality visual representations for both images and videos while retaining strong global scene understanding. The approach combines four key components. First, a dense predictive loss uses a masking-based objective in which both visible and masked tokens contribute to the training signal, encouraging explicit spatial and temporal grounding. Second, deep self-supervision applies the self-supervised objective hierarchically across multiple intermediate encoder layers to improve representation quality. Third, multi-modal tokenizers enable unified training across images and videos. Finally, the model benefits from effective scaling in both model capacity and training data. Together, these design choices produce representations that are spatially structured, semantically coherent, and temporally consistent.Empirically, V-JEPA 2.1 achieves state-of-the-art performance on several challenging benchmarks, including 7.71 mAP on Ego4D for short-term object-interaction anticipation and 40.8 Recall@5 on EPIC-KITCHENS for high-level action anticipation, as well as a 20-point improvement in real-robot grasping success rate over V-JEPA-2 AC. The model also demonstrates strong performance in robotic navigation (5.687 ATE on TartanDrive), depth estimation (0.307 RMSE on NYUv2 with a linear probe), and global recognition (77.7 on Something-Something-V2). These results show that V-JEPA 2.1 significantly advances the state of the art in dense visual understanding and world modeling.