Does Mapping Non-Maximal Probabilities to GMM Components Matter for S-JEPA Encoder Representations?

📄 arXiv: 2608.19084v1 📥 PDF

作者: Wenxuan He, Yunpeng Li, Shan Liang

分类: cs.LG, cs.SD

发布日期: 2026-08-19

备注: 6 pages, 4 figures, 2 tables

💡 一句话要点

提出S-JEPA方法以优化GMM组件概率映射问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 高斯混合模型 不确定性建模 编码器表示 机器学习 光谱动态

📋 核心要点

  1. 现有方法在处理不确定性时，未充分考虑非最大概率的映射对GMM组件的影响。
  2. 论文提出通过REAL SOFT方法，优化非最大概率的映射，以提高编码器的表示能力。
  3. 实验结果表明，REAL SOFT在多个实验中优于对照组，尤其在恢复GMM尾部和捕捉光谱动态方面表现突出。

📝 摘要（中文）

S-JEPA使用软高斯混合模型（GMM）后验而非硬聚类标签，以保留不确定性。本文探讨了概率值是否足够，以及哪些GMM组件接收非最大概率是否重要。通过与两个匹配对照实验进行比较，发现REAL SOFT在两个冻结的编码器读出中表现优于对照组，能够更好地恢复原始GMM尾部，并在短时间尺度上更好地捕捉光谱动态。这些结果表明，软目标的数值概率结构并不能完全决定学习到的编码器表示，非最大概率到GMM组件的映射同样重要。

🔬 方法详解

问题定义：本文旨在解决在S-JEPA中，非最大概率映射到GMM组件的重要性尚不明确的问题。现有方法未能充分利用概率值的结构，导致编码器表示的潜力未被完全挖掘。

核心思路：论文提出的REAL SOFT方法，通过保留非最大概率的映射，优化了编码器的表示能力。该设计旨在增强对不确定性的建模，从而提高模型的整体性能。

技术框架：整体架构包括三个主要模块：首先，使用软GMM后验进行概率分配；其次，设计了两种对照实验（FIXED-RANDPERM和UNIFORM-TAIL）以评估不同映射策略的效果；最后，通过对比实验验证REAL SOFT的有效性。

关键创新：最重要的创新在于强调了非最大概率映射的重要性，提出了REAL SOFT方法，使得编码器能够更好地捕捉光谱动态和恢复GMM尾部，与传统方法相比，显著提升了模型的表现。

关键设计：在实验中，保持了顶级组件及其概率，同时对非最大概率进行了不同的映射设计。具体而言，FIXED-RANDPERM使用固定映射，而UNIFORM-TAIL则均匀分配非最大概率质量。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，REAL SOFT在两个冻结的编码器读出中，优于FIXED-RANDPERM和UNIFORM-TAIL对照组，尤其在恢复GMM尾部和捕捉光谱动态方面，表现出更高的准确性和稳定性。

🎯 应用场景

该研究的潜在应用领域包括机器学习中的不确定性建模、图像和视频分析等。通过优化GMM组件的概率映射，能够提升模型在复杂场景下的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

S-JEPA uses soft Gaussian mixture model (GMM) posteriors instead of hard cluster labels to preserve uncertainty. It remains unclear whether the probability values alone are sufficient, or whether it also matters which GMM components receive the non-maximal probabilities. We test this with two matched controls. FIXED-RANDPERM keeps the top-1 component and probability together with the multiset of non-maximal probability values, but reassigns those non-maximal values using a mapping fixed for each physical frame. UNIFORM-TAIL keeps the top-1 component, its probability, and total non-maximal mass but distributes that mass uniformly. Across three independent seeds, REAL SOFT outperforms both controls on two frozen Encoder readouts. It provides better recovery of the original GMM tail and greater accessibility of spectral dynamics over short time scales after controlling for the complete spectrum of the current frame. In two exposure experiments, both readouts improved overall as more frames retained the original mapping. We also descriptively follow one Phase 2 trajectory after the switch to the online GMM. These results show that the numerical probability structure of the soft target does not fully determine the learned Encoder representation. The mapping of non-maximal probabilities to GMM components also matters.