P-JEPA: Procedural Video Representation Learning via Joint Embedding Predictive Architecture

📄 arXiv: 2606.23256v1 📥 PDF

作者: Felix Tristram, Stefano Gasperini, Benjamin Killeen, Marcel Walch, Christian Benz, Nassir Navab, Ghazal Ghazaei

分类: cs.CV, cs.AI

发布日期: 2026-06-22

💡 一句话要点

提出P-JEPA以解决长视频表示学习中的长程依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 程序视频表示 潜在预测训练 动作识别 实时推理 自注意力机制 智能辅助系统

📋 核心要点

  1. 现有的视频表示学习方法在处理长视频时面临长程依赖性问题，导致模型性能下降。
  2. 本文提出P-JEPA，通过将视频表示学习简化为密集的帧对齐动作空间，解决长程依赖问题。
  3. 实验结果显示，P-JEPA在多个数据集上提升了线性可分性、流媒体推理和时间动作分割性能，尤其在EgoExo4D数据集上表现优异。

📝 摘要（中文）

随着具身人工智能平台的成熟，程序视频表示学习的兴趣日益增长，以支持复杂多步骤任务的智能辅助系统。利用大规模潜在预测训练，视频基础模型能够捕捉视频动态，支持活动理解、时空定位和预测控制等下游任务。然而，程序视频中的动作存在长程依赖性，现有模型因自注意力的平方复杂度而无法支持。为此，本文提出了一种骨干无关的方法，通过将问题简化为密集的、帧对齐的动作空间，并预测池化的掩蔽潜在向量，从而学习长时长视频表示。P-JEPA能够处理超过30分钟的视频，实现程序步骤的有效长形式理解。实验结果表明，P-JEPA在多个数据集上表现出色，尤其在EgoExo4D的细粒度动作分类中达到了最先进的结果，同时参数量显著少于基于LLM的方法，并且能够实时运行。

🔬 方法详解

问题定义：本文旨在解决程序视频表示学习中长程依赖性的问题。现有模型因自注意力机制的平方复杂度，无法有效处理长视频中的动作关系，导致性能下降。

核心思路：P-JEPA通过将视频表示学习转化为密集的帧对齐动作空间，预测池化的掩蔽潜在向量，从而有效捕捉长时长视频中的动作依赖关系。

技术框架：P-JEPA的整体架构包括视频输入模块、动作空间映射模块和潜在向量预测模块。视频输入模块负责接收长视频，动作空间映射模块将视频帧映射到动作空间，最后通过潜在向量预测模块进行动作预测。

关键创新：P-JEPA的主要创新在于其骨干无关的设计，使其能够处理超过30分钟的视频，并有效学习长时长视频的表示。这一方法与传统的自注意力机制相比，显著降低了计算复杂度。

关键设计：在参数设置上，P-JEPA采用了优化的损失函数以增强模型的学习能力，并设计了高效的网络结构以支持实时推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

P-JEPA在EgoExo4D数据集上实现了最先进的细粒度动作分类结果，显著提高了线性可分性和时间动作分割性能，同时使用的参数量比基于LLM的方法少一个数量级，且能够实时运行，展现出其在长视频理解中的优越性。

🎯 应用场景

P-JEPA的研究成果在智能辅助系统、机器人操作和视频分析等领域具有广泛的应用潜力。通过有效理解长视频中的程序步骤，该方法能够提升自动化任务的执行效率，支持复杂场景下的决策制定，并推动具身人工智能的发展。

📄 摘要（原文）

The increasing maturity of embodied AI platforms has driven a growing interest in procedural video representation learning to support intelligent assistance systems for complex, multi-step tasks. Leveraging large-scale latent predictive training, video foundation models capture video dynamics, enabling downstream tasks such as activity understanding, spatiotemporal localization, and predictive control. However, procedural videos include actions with long-range dependencies that these models do not support, due to the quadratic complexity of self-attention. Distinct actions, for example, may be visually similar despite appearing at different points in the procedure, such as turning the stove on versus off. Here, we propose a backbone-agnostic approach that learns long-duration video representations by reducing the problem to a dense, frame-aligned action space and predicting pooled masked latent vectors. This approach allows our Procedural Joint Embedding Predictive Architecture (P-JEPA) to ingest videos over 30 minutes long, enabling effective long-form understanding of procedural steps. We evaluate P-JEPA using features extracted with VJEPA2.1, TSM, and I3D over the EgoExo4D, EgoProceL, and Assembly101 datasets, finding that it consistently improves linear separability, streaming inference, and temporal action segmentation performance, achieving state-of-the-art results on EgoExo4D fine-grained action classification while using an order of magnitude fewer parameters than LLM-based methods and running in real time.