Drive-JEPA: Video JEPA Meets Multimodal Trajectory Distillation for End-to-End Driving

📄 arXiv: 2601.22032 📥 PDF

作者: Linhan Wang, Zichong Yang, Chen Bai, Guoxiang Zhang, Xiaotong Liu, Xiaoyin Zheng, Xiao-Xiao Long, Chang-Tien Lu, Cheng Lu

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出Drive-JEPA以解决自主驾驶中的多模态行为学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主驾驶 多模态学习 轨迹蒸馏 自监督学习 视频理解 深度学习 智能交通

📋 核心要点

  1. 现有方法在自主驾驶中面临多模态行为学习的挑战，单一人类轨迹限制了模型的学习能力。
  2. Drive-JEPA框架通过结合V-JEPA与多模态轨迹蒸馏，提升了端到端驾驶的表现。
  3. 在NAVSIM评估中，Drive-JEPA框架在多个指标上超越了先前的方法，展示了显著的性能提升。

📝 摘要（中文）

随着端到端自主驾驶越来越依赖自监督视频预训练来学习可迁移的规划表示，现有的视频世界模型在场景理解方面的改进有限。由于驾驶场景通常只提供单一的人类轨迹，导致多模态行为学习困难。为此，本文提出了Drive-JEPA框架，将视频联合嵌入预测架构（V-JEPA）与多模态轨迹蒸馏相结合。首先，针对端到端驾驶调整V-JEPA，在大规模驾驶视频上预训练ViT编码器，以生成与轨迹规划对齐的预测表示。其次，引入了一种基于提案的规划器，蒸馏多样的模拟器生成轨迹和人类轨迹，并采用动量感知选择机制以促进稳定和安全的行为。在NAVSIM上的评估中，V-JEPA表示结合简单的基于变换器的解码器在无感知设置下比先前方法提高了3 PDMS。完整的Drive-JEPA框架在v1上达到了93.3 PDMS，在v2上达到了87.8 EPDMS，创造了新的最先进水平。

🔬 方法详解

问题定义：本文旨在解决自主驾驶中多模态行为学习的不足，现有方法由于仅依赖单一人类轨迹，导致模型难以捕捉多样化的驾驶行为。

核心思路：Drive-JEPA通过结合视频联合嵌入预测架构（V-JEPA）与多模态轨迹蒸馏，旨在生成与轨迹规划对齐的预测表示，从而提升模型的学习能力。

技术框架：Drive-JEPA框架主要包括两个模块：首先是基于ViT的编码器，用于在大规模驾驶视频上进行预训练；其次是提案中心的规划器，负责蒸馏多样的轨迹。

关键创新：最重要的创新在于引入了动量感知选择机制，该机制能够在蒸馏过程中促进稳定和安全的行为，从而显著提升了模型的表现。

关键设计：在参数设置上，ViT编码器的预训练使用了大规模视频数据，损失函数设计上则考虑了轨迹的多样性和稳定性，确保模型能够有效学习到多模态行为。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Drive-JEPA框架在NAVSIM评估中表现出色，v1上达到了93.3 PDMS，v2上达到了87.8 EPDMS，分别比先前方法提高了3 PDMS，展示了其在无感知设置下的显著性能提升，确立了新的最先进水平。

🎯 应用场景

Drive-JEPA框架在自主驾驶领域具有广泛的应用潜力，能够提升自动驾驶系统在复杂场景下的决策能力。其创新的多模态轨迹学习方法可为未来的智能交通系统提供更安全和高效的解决方案，推动无人驾驶技术的实际落地。

📄 摘要（原文）

End-to-end autonomous driving increasingly leverages self-supervised video pretraining to learn transferable planning representations. However, pretraining video world models for scene understanding has so far brought only limited improvements. This limitation is compounded by the inherent ambiguity of driving: each scene typically provides only a single human trajectory, making it difficult to learn multimodal behaviors. In this work, we propose Drive-JEPA, a framework that integrates Video Joint-Embedding Predictive Architecture (V-JEPA) with multimodal trajectory distillation for end-to-end driving. First, we adapt V-JEPA for end-to-end driving, pretraining a ViT encoder on large-scale driving videos to produce predictive representations aligned with trajectory planning. Second, we introduce a proposal-centric planner that distills diverse simulator-generated trajectories alongside human trajectories, with a momentum-aware selection mechanism to promote stable and safe behavior. When evaluated on NAVSIM, the V-JEPA representation combined with a simple transformer-based decoder outperforms prior methods by 3 PDMS in the perception-free setting. The complete Drive-JEPA framework achieves 93.3 PDMS on v1 and 87.8 EPDMS on v2, setting a new state-of-the-art.