Proving and Improving the Platonic Representation Hypothesis with JEPAs

📄 arXiv: 2610.39302v1 📥 PDF

作者: Randall Balestriero, Yann LeCun

分类: cs.AI, cs.CV, stat.ML

发布日期: 2026-10-29

💡 一句话要点

提出JEPAs以证明和改进柏拉图表征假设

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 柏拉图表征假设 联合嵌入预测架构 多模态学习 模型对齐 图像描述生成 自然语言处理 计算机视觉

📋 核心要点

  1. 现有模型在不同模态下的表征一致性缺乏理论支持，导致对齐效率低下。
  2. 提出联合嵌入预测架构（JEPA），在良好视图下证明模型表征的一致性，优化了训练过程。
  3. 实验结果显示，良好视图的训练样本需求显著低于下一标记预测，且在多个基准测试中表现优异。

📝 摘要（中文）

模型在不同模态下是否收敛到相同的世界表征是人工智能的核心问题。柏拉图表征假设（PRH）推测随着模型规模的扩大，它们会收敛，但缺乏证明。本文将该假设转化为定理，证明了联合嵌入预测架构（JEPA）在良好视图下的表征一致性，并展示了语言模型与视觉模型的对齐效率。通过145k个图像描述和940M网页图像的文本验证，发现良好视图需要的训练样本显著少于下一标记预测，且在多个基准测试中表现优于现有语言模型。

🔬 方法详解

问题定义：本文旨在解决不同模态模型在表征一致性上的理论缺失，现有方法未能有效证明模型在不同模态下的对齐能力，导致效率低下。

核心思路：通过将柏拉图表征假设转化为定理，证明在良好视图下，JEPA模型能够学习到一致的表征，强调了视图质量的重要性。

技术框架：整体架构包括多个模态的JEPA模型，通过良好视图进行训练，确保模型在不同模态下的表征一致性，主要模块包括数据预处理、模型训练和评估。

关键创新：最重要的创新在于将柏拉图表征假设形式化为定理，并通过实验证明良好视图显著提高了模型的对齐效率，与传统的下一标记预测方法形成鲜明对比。

关键设计：在训练过程中，采用了特定的损失函数和参数设置，以确保模型在良好视图下的高效学习，优化了网络结构以提升对齐性能。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，良好视图的JEPA模型在对齐效率上显著优于下一标记预测方法，训练样本需求减少42倍。此外，109M参数的文本JEPA在对齐DINOv2和CLIP的图像编码器时表现优于所有评估的语言模型，最高可达72B参数，展现出其高效性。

🎯 应用场景

该研究的潜在应用领域包括多模态学习、自然语言处理与计算机视觉的结合等。通过优化模型的表征一致性，可以在图像识别、自动图像描述生成等任务中实现更高的准确性和效率，未来可能推动更智能的多模态AI系统的发展。

📄 摘要（原文）

Whether models trained on different modalities converge to the same representation of the world is central to AI. The Platonic Representation Hypothesis (PRH) conjectures that they do as they scale, but without a proof it offers neither a guarantee nor a recipe. We turn the hypothesis into a theorem. First, we prove a \emph{Platonic Representation Theorem}: Joint-Embedding Predictive Architectures (JEPAs) trained separately on any number of modalities learn the same representation up to one rotation whenever their positive pairs are two observations of one scene--\emph{good views}--and their misalignment is bounded otherwise. Second, we show that next-token prediction is a JEPA with \emph{bad views}, parts of a single document, which explains why language models align with vision only through scale. Third, we validate the theory from 145k captions to the texts of 940M web images, and uncover a scaling law of alignment that predicts unseen runs within seed noise. Good views need 42 times fewer training samples than next-token prediction on the same corpus to reach the same alignment, and a 109M-parameter text JEPA aligns with DINOv2 and CLIP's image encoders better than every language model we evaluated, up to 72B parameters, and than CLIP's text encoder: next-token prediction is a remarkably inefficient route to platonic representations. As a showcase, one rotation turns separately trained encoders into an image captioner (CIDEr .838 on COCO). Even that rotation needs no pair: on the latest pair-free benchmark, our text JEPA beats every zero-shot accuracy reported with language models up to 8B parameters, e.g., 64\% against at most 56\% top-5 on ImageNet-100. Positive views, and not scale alone, are thus the lever to build platonic representations.