Expanding SPHERE-JEPA: A Family of Statistical Regularizers for the Hypersphere

📄 arXiv: 2606.17603v1 📥 PDF

作者: Léo Nicollier, Enric Meinhardt-Llopis, Max Dunitz, Marc Pic, Pablo Musé, Gabriele Facciolo

分类: cs.LG

发布日期: 2026-06-16

💡 一句话要点

提出全维统计正则化方法以解决自监督学习中的表示崩溃问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 统计正则化 超球面 最大均值差异 核方法 图像检索 特征学习

📋 核心要点

  1. 现有自监督学习方法依赖于切片统计正则化器，导致训练过程中的不稳定性和收敛困难。
  2. 本文提出通过解析积分随机投影来获得确定性的MMD，进而制定全维目标以强制均匀分布。
  3. 实验证明，去除投影噪声后，优化过程更稳定，收敛速度更快，并在多个数据集上表现优越。

📝 摘要（中文）

在自监督学习中，通过显式强制单位超球面上的均匀分布来防止表示崩溃已被证明是有效的。然而，现有框架通常依赖于切片统计正则化器，这些方法通过随机一维方向的蒙特卡洛采样来近似这一连续目标，导致训练梯度中引入投影方差，从而不稳定优化并妨碍收敛。本文首先展示了通过解析积分这些随机投影可以获得确定性的最大均值差异（MMD），从而绕过切片方法的方差。基于此等价性，我们直接在超球面上制定了MMD、核斯坦因差异（KSD）和Kullback-Leibler（KL）散度的全维目标，以强制均匀分布。通过使用旋转不变的核，我们系统评估了两种典型的滤波器：平滑指数衰减和严格频率截止。实验证明，去除投影引起的噪声可以实现更稳定的优化和更快的收敛，并在ImageNet和Galaxy10上相较于随机切片正则化器有一致的提升。

🔬 方法详解

问题定义：本文旨在解决自监督学习中表示崩溃的问题，现有方法依赖于切片统计正则化器，导致训练梯度中引入随机性，影响优化稳定性和收敛速度。

核心思路：通过解析积分随机投影，获得确定性的最大均值差异（MMD），避免了切片方法的方差问题，从而制定全维目标以强制均匀分布。

技术框架：整体框架包括三个主要模块：首先是通过旋转不变的核构建统计测试，其次是制定全维目标，最后是优化过程的实现。

关键创新：最重要的技术创新在于提出了全维的MMD、KSD和KL散度目标，直接在超球面上进行优化，显著提高了训练的稳定性和收敛速度。

关键设计：使用旋转不变的核设计，评估平滑指数衰减和严格频率截止的滤波器，确保在不同的空间上均匀分布的有效性。具体参数设置和损失函数设计在实验中进行了详细的验证。

📊 实验亮点

实验结果表明，去除投影引起的噪声后，优化过程的稳定性显著提高，收敛速度加快。在ImageNet和Galaxy10数据集上，相较于随机切片正则化器，性能提升幅度达到了XX%（具体数据待补充）。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、图像检索和生成模型等自监督学习任务。通过提高训练稳定性和收敛速度，能够在更复杂的场景中实现更高效的特征学习，推动相关领域的发展。

📄 摘要（原文）

In Self-Supervised Learning (SSL), preventing representation collapse by explicitly enforcing a uniform distribution on the unit hypersphere has proven to be effective. However, current frameworks typically rely on sliced statistical regularizers such as SIGReg (used in LeJEPA) and SUSReg (used in SPHERE-JEPA), which approximate this continuous objective via Monte Carlo sampling along random 1D directions. This stochasticity injects projection variance into the training gradients, destabilizing optimization, and hindering convergence. In this work, we first show that analytically integrating out these random projections natively yields a deterministic Maximum Mean Discrepancy (MMD), bypassing the variance of sliced methods. Motivated by this equivalence, we formulate full-dimensional objectives for MMD, Kernel Stein Discrepancy (KSD), and Kullback-Leibler (KL) divergence directly on the sphere to enforce a uniform distribution. To prevent spatial bias, we equip these tests with rotationally invariant kernels constructed via spectral theory, systematically evaluating two canonical families: smooth exponential decay (Heat) and strict frequency cutoff (Bandlimited) filters. Empirically, removing projection-induced noise results in more stable optimization, faster convergence, and consistent improvements over stochastic sliced regularizers on ImageNet and Galaxy10. Furthermore, we reveal that the choice of the statistical test shapes the geometry of the learned latent space: MMD and KSD favor locally clustered organization suitable for object-centric domains, whereas the continuous KDE-based KL divergence promotes fine-grained instance separation, yielding the strongest results on unclustered procedural texture retrieval.