When Graph-JEPA Learns the Wrong Thing: Diagnosing and Repairing Category-Conditional Collapse
作者: Gollam Rabby, Sören Auer
分类: cs.LG
发布日期: 2026-08-20
💡 一句话要点
提出Graph-JEPA修复类别条件崩溃问题的诊断方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 联合嵌入 信息恢复 科学推理 方差分配 模型修复 知识图谱 数据分析
📋 核心要点
- 现有的联合嵌入预测架构在某些情况下表现出失效，尽管线性探测和有效秩显示健康，但信息表示却无用。
- 论文提出了一种修复方法，重点在于方差分配的重新调整，以提高信息恢复能力。
- 实验结果显示，修复后的配置在信息恢复上达到了14.377比特，显著高于原始配置的0.307比特。
📝 摘要（中文）
本文探讨了联合嵌入预测架构在特定情况下的失效，尽管线性探测和有效秩显示健康状态，但表示却没有可用的实例信息。通过对57,903篇文章的科学推理图进行实验，发现修复后的度量在目标上饱和，且缺乏结构信息。研究揭示了方差分配的问题，提出了一种修复配置，显著提高了信息恢复能力，并发布了可审计的工具以评估目标的可约性。
🔬 方法详解
问题定义：本文解决的是Graph-JEPA在类别条件崩溃情况下的失效问题，现有方法在某些情况下无法有效利用实例信息。
核心思路：通过分析方差分配，论文提出了一种修复策略，旨在重新分配信息方差，以提高模型的推理能力和信息恢复效果。
技术框架：整体架构包括数据预处理、模型训练和修复配置的评估。主要模块包括方差分析、修复算法和信息恢复测试。
关键创新：最重要的创新点在于识别并修复方差分配不当的问题，提出了一种新的目标配置，使得信息恢复能力显著提升。
关键设计：在修复过程中，采用了特定的学习率调度和损失函数设计，确保模型在训练过程中能够有效地调整方差分配。
🖼️ 关键图片
📊 实验亮点
实验结果表明，修复后的模型在信息恢复上达到了14.377比特，接近于13.865比特的理论上限，显著高于未修复模型的0.307比特，验证了修复方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括科学文献分析、知识图谱构建和信息检索等。通过提升模型的推理能力，能够更好地支持复杂数据的分析与理解，具有重要的实际价值和未来影响。
📄 摘要（原文）
Joint-embedding predictive architectures are selected almost universally by linear probing and effective rank. We report a case where both read healthily while the representation carries zero usable instance information. We repair it, and a second failure appears: the repaired metric saturates on a target carrying no structural information. Our corpus is a scientific-reasoning graph over 57,903 articles, each a subgraph. A Graph-JEPA predicts one masked aspect from a subgraph's remaining aspects, attaining linear-probe accuracy 0.871 and effective rank 18-47, yet retrieval recovers 0.00 of 14.4 bits (MRR 1.9e-4 vs chance 1.99e-4, p=0.98). Three upper bounds on the same pool and code recover nearly everything (+14.28, +14.34, +14.22 bits), ruling out corpus, masking, pool, and metric as causes. We trace this to variance allocation - frozen inputs place 86.05% of variance on subgraph identity and 0.40% on aspect identity, while trained latents place 0.39% and 99.61%. This is a property of the objective's optimum: the degenerate solution is a global minimum of the coupled predictor/EMA-target objective, present already at init. A repaired configuration reaches 14.377 of 14.379 bits, above the 13.865-bit oracle; reverting the loss to regression drops it to 0.307 bits, confirming it. Yet the repair licenses nothing about reasoning: the target is reducible, since intra-subgraph edges are a deterministic function of node census. The oracle reaches 96.4% of the ceiling, and our largest effect is the learning-rate schedule, not architecture. Bits and a reasoning probe show no relation across ten cells. A data-derived target fails a quality gate - 25.96% of nodes are duplicate placeholders, and the rest is more generic than supporting evidence. Rank, probes, and metrics can all saturate on an unsupportive evaluation. We release a harness with a reducibility audit and target gate.