Cross4D-JEPA: Dense Cross-modal Correspondence Distillation for 4D Point Cloud Representation Learning

📄 arXiv: 2607.00514v1 📥 PDF

作者: Trung Thanh Nguyen, Hai Nguyen-Truong, Tu Vo, Hoang M. Truong, Tuan-Anh Vu

分类: cs.CV, cs.AI

发布日期: 2026-07-01

💡 一句话要点

提出Cross4D-JEPA以解决动态4D点云表示学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态4D点云 自监督学习 跨模态蒸馏 机器人感知 深度学习

📋 核心要点

  1. 现有方法在动态4D点云的理解上面临高昂的标注成本和单模态学习的局限性。
  2. Cross4D-JEPA通过教师-学生蒸馏机制，将2D基础模型的知识迁移到4D点云编码器，增强了表示学习的丰富性。
  3. 实验结果显示，Cross4D-JEPA在多个基准测试中超越了现有的单模态和全局跨模态基线，并在标签效率上有显著提升。

📝 摘要（中文）

动态4D点云的自动理解是机器人和具身感知的核心。然而，密集标注这些点云的成本高昂，因此自监督预训练成为获取可迁移表示的自然途径。现有的预训练任务几乎完全是单模态的，而少数依赖于2D基础模型的方法又只使用每个片段的单一全局嵌入，忽略了这些模型计算的丰富的每个补丁语义。为了解决这一问题，本文提出了Cross4D-JEPA，一种教师-学生方法，将冻结的2D基础模型（如DINOv2或V-JEPA 2）蒸馏到4D点编码器中。该方法结合了密集的跨模态对应关系和每点目标，使学生在潜在空间中匹配这些特征。实验结果表明，Cross4D-JEPA在多个基准测试中表现优异，且在标签效率和全标签微调方面具有显著优势。

🔬 方法详解

问题定义：本文旨在解决动态4D点云表示学习中的标注成本高和现有方法单模态学习的局限性。现有方法往往忽略了丰富的每个补丁语义，导致表示能力不足。

核心思路：Cross4D-JEPA通过教师-学生蒸馏机制，将冻结的2D基础模型（如DINOv2或V-JEPA 2）知识迁移至4D点云编码器。该方法通过密集的跨模态对应关系和每点目标，增强了4D点云的表示能力。

技术框架：整体架构包括教师模型和学生模型，教师模型负责生成特征补丁，学生模型则通过密集对应关系学习匹配这些特征。主要模块包括特征提取、对应关系映射和损失计算。

关键创新：最重要的创新在于密集的跨模态对应关系和每点目标的设计，使得学生模型能够在潜在空间中精确匹配教师模型的特征，而无需使用掩码、负样本或解码器。

关键设计：在损失函数设计上，采用了每点匹配损失，确保学生模型能够有效学习到教师模型的特征。此外，网络结构经过优化，以适应4D点云的特性，确保了高效的计算和表示能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MSR-Action3D、DeformingThings4D、NTU-RGB+D 60和HOI4D等四个基准测试中，Cross4D-JEPA在匹配协议下持续超越了现有的单模态和全局跨模态基线，且在标签效率和全标签微调方面表现优异，显示出13倍更小的编码器能够与重型池化骨干网络相匹配。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、动态场景理解和增强现实等。通过提高4D点云的表示学习能力，Cross4D-JEPA能够在复杂环境中实现更高效的感知和决策，推动智能系统的发展。未来，该方法可能在自动驾驶、智能监控等领域产生深远影响。

📄 摘要（原文）

Automatic understanding of dynamic 4D point clouds, the 3D-point sequences captured over time by depth sensors and LiDAR, is central to robotics and embodied perception. Yet annotating them densely is expensive, making self-supervised pretraining the natural route to transferable representations. Existing pretext tasks, however, are almost entirely intra-modal, and the few methods that transfer knowledge from 2D foundation models rely on a single global embedding per clip, discarding the rich per-patch semantics that these models compute. To address this gap, we propose Cross4D-JEPA, a teacher-student method that distills a frozen 2D foundation model, an image model DINOv2, or a video model V-JEPA 2, into a 4D point encoder. The proposed method combines (1) a dense cross-modal correspondence that maps every 3D point to the teacher patch feature it projects to, and (2) a per-point objective that trains the student to match these features in latent space with no masking, negatives, or decoder. We evaluate Cross4D-JEPA on four benchmarks, MSR-Action3D, DeformingThings4D, NTU-RGB+D 60, and HOI4D, against intra-modal and global cross-modal baselines. Experimental results show that, under a matched protocol, the proposed method consistently outperforms intra-modal and global cross-modal baselines across the four benchmarks and is competitive with heavier published 4D methods; further analysis attributes this gain primarily to the granularity of the correspondence rather than the teacher modality. Beyond recognition accuracy, the dense representation learned by Cross4D-JEPA transfers across domains, improves label efficiency, and improves full-label fine-tuning under the same training budget, while a 13x smaller encoder matches a heavyweight pooling backbone.