AC-JEPA: Anchored Cross-Modal Joint Embedding Predictive Architecture for Visual-to-Symbolic Translation

📄 arXiv: 2610.36493v1 📥 PDF

作者: Chaofei Hong, Ziyang Chen, Baochen Wang, Christina Yi Jin, Qing Zhang

分类: cs.AI, cs.CL

发布日期: 2026-10-27

💡 一句话要点

提出AC-JEPA以解决跨模态翻译中的数据不完美问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 跨模态翻译 联合嵌入 监督微调 光学化学结构识别 自我训练 伪标记学习

📋 核心要点

  1. 现有的跨模态翻译方法在处理不完美配对数据时表现不佳，容易受到目标序列错误的影响。
  2. AC-JEPA通过预测掩码中间状态，结合联合嵌入目标和因果SFT路径，增强了跨模态翻译的鲁棒性。
  3. 实验结果表明，AC-JEPA在WildMol基准上达到了76.07%的准确率，自我训练后进一步提升至80.23%，显著优于传统SFT方法。

📝 摘要（中文）

跨模态翻译要求模型捕捉不同模态间的共享语义，同时保留目标模态所需的细粒度结构。然而，在实际科学领域，配对数据往往不完美，获取大规模干净配对的成本高昂。监督微调(SFT)直接通过类别标记级别的监督来优化跨模态翻译，但这一目标对目标序列中的错误敏感。JEPA提供了一种互补的表示空间目标，但现有大多数公式关注于模态内的预测，而非跨模态翻译。我们提出了AC-JEPA，这是一种与SFT兼容的插件，利用配对数据预测跨模态方向上的掩码中间状态。联合嵌入目标针对可从上下文预测的跨模态结构，而因果SFT路径则保留了对目标序列的直接标记级别监督。在自我训练过程中，AC-JEPA从不完美的伪标记配对中学习连续的潜在目标，提供了对局部数据错误的内在容忍，而不将伪标记提升为硬类别监督。以光学化学结构识别为测试平台，AC-JEPA在干净配对上训练，在WildMol基准的Simple集上达到了76.07%的准确率，而单独使用SFT的准确率为67.40%。使用相同的伪标记数据进行两种方法的自我训练，AC-JEPA进一步将准确率提升至80.23%，而直接SFT的准确率则从67.40%降至63.47%。这些结果支持基于SFT的联合嵌入预测作为在精心策划和不完美监督下进行跨模态翻译的有效策略。

🔬 方法详解

问题定义：本论文旨在解决跨模态翻译中由于配对数据不完美而导致的性能下降问题。现有方法如监督微调(SFT)对目标序列中的错误非常敏感，影响翻译质量。

核心思路：AC-JEPA的核心思想是通过联合嵌入目标和因果SFT路径的结合，利用配对数据预测掩码中间状态，从而增强模型对局部数据错误的容忍度。

技术框架：AC-JEPA的整体架构包括两个主要模块：联合嵌入模块用于捕捉跨模态结构，因果SFT模块则用于保持对目标序列的直接监督。模型在自我训练阶段从不完美的伪标记配对中学习。

关键创新：AC-JEPA的创新在于其将联合嵌入预测与SFT结合，形成了一种新的跨模态翻译策略，显著提高了模型在不完美监督下的表现。

关键设计：在模型设计中，AC-JEPA采用了特定的损失函数来平衡联合嵌入目标和因果SFT路径的影响，并通过调整网络结构以优化性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AC-JEPA在WildMol基准的Simple集上达到了76.07%的准确率，相较于单独使用SFT的67.40%有显著提升。通过自我训练，AC-JEPA进一步将准确率提升至80.23%，而直接SFT的准确率则下降至63.47%。

🎯 应用场景

该研究在光学化学结构识别等领域具有广泛的应用潜力，能够有效提升跨模态翻译的准确性和鲁棒性。未来，AC-JEPA的技术框架可扩展至其他科学领域的跨模态任务，推动相关研究的发展。

📄 摘要（原文）

Cross-modal translation requires models to capture shared semantics across modalities while preserving the fine-grained structure required by the target modality. Yet in real-world scientific domains, paired data are often imperfect, while obtaining clean pairs at scale is costly. Supervised fine-tuning (SFT) directly optimizes cross-modal translation through categorical token-level supervision, but this objective is sensitive to errors in the target sequences. JEPA offers a complementary representation-space objective, but most existing formulations focus on prediction within a modality rather than translation across modalities. We introduce Anchored Cross-Modal JEPA (AC-JEPA), an SFT-compatible plug-in that predicts masked intermediate states in both cross-modal directions using paired data. The joint-embedding objective targets cross-modal structure predictable from context, while the causal SFT path retains direct token-level supervision for the target sequence. During self-training, AC-JEPA learns from continuous latent targets derived from imperfect pseudo-labeled pairs, offering intrinsic tolerance to local data errors without promoting pseudo-tokens to hard categorical supervision. Using optical chemical structure recognition as a testbed, AC-JEPA trained on clean pairs achieves 76.07% accuracy on the Simple set of the WildMol benchmark, compared with 67.40% for SFT alone. Using the same pseudo-labeled data for both approaches, AC-JEPA-based self-training further raises accuracy to 80.23%, whereas accuracy under direct SFT drops from 67.40% to 63.47%. These results support SFT-anchored joint-embedding prediction as an effective strategy for cross-modal translation under both curated and imperfect supervision.