Bi-semantic Chemical Embedder for Joint Representation Learning of SMILES and Natural Language

📄 arXiv: 2608.03855v1 📥 PDF

作者: David Ming Segura, Jeremy Goumaz, Joshua W. Sin, Bojana Ranković, Philippe Schwaller

分类: cs.LG

发布日期: 2026-08-04

💡 一句话要点

提出CheMatE以解决化学领域语义表示不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 化学嵌入 双语义表示 掩码语言建模 对比学习 分子属性预测 自然语言处理 Transformer模型

📋 核心要点

  1. 现有方法在化学领域的语义表示上存在过拟合问题，导致模型无法有效利用基础语义能力。
  2. CheMatE通过联合学习分子结构和领域特定自然语言，采用两阶段训练策略以解决上述问题。
  3. 实验结果显示，CheMatE在多个下游任务中表现优异，具有良好的迁移能力和竞争力。

📝 摘要（中文）

Transformer模型在自然语言处理（NLP）领域取得了革命性进展，文本基础的分子表示如SMILES也成功地将这些架构扩展到化学领域。然而，领域自适应预训练常常导致模型过拟合于化学语法，严重遗忘其基础语义能力。为了解决这一挑战，本文提出了CheMatE，一个化学导向的嵌入模型，能够在同一表示空间中联合捕捉分子结构和领域特定的自然语言。CheMatE基于ModernBERT骨干，通过两阶段训练程序学习双语义表示：首先在一个新颖的大规模SMILES注释的科学文献语料库上进行掩码语言建模（MLM），然后通过多负排名损失（MNRL）进行Matryoshka对比学习。实验结果表明，结合定制数据集与这种顺序训练策略，CheMatE在分子属性预测和科学语言理解等下游任务中表现出色。

🔬 方法详解

问题定义：本文旨在解决现有化学模型在领域自适应预训练中出现的过拟合问题，导致模型遗忘基础语义能力的挑战。

核心思路：CheMatE通过联合捕捉分子结构和自然语言的双语义表示，采用两阶段训练策略来增强模型的语义理解能力。

技术框架：CheMatE的整体架构包括两个主要阶段：首先进行掩码语言建模（MLM），然后进行基于多负排名损失（MNRL）的对比学习。

关键创新：CheMatE的核心创新在于其双语义表示学习方法，能够有效整合化学结构信息与自然语言语境，克服了传统模型的局限性。

关键设计：模型使用了ModernBERT作为基础架构，训练过程中采用了大规模的SMILES注释语料库，并通过合成的SMILES-文本对进行对比学习，确保模型在语义理解上具有更强的能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CheMatE在分子属性预测和科学语言理解任务中均表现出色，超越了多个专用化学模型和通用语言模型基线，展示了其强大的迁移能力和鲁棒性。

🎯 应用场景

CheMatE的研究成果在药物发现、材料科学和化学信息学等领域具有广泛的应用潜力。通过提升分子属性预测和科学语言理解的能力，CheMatE能够为化学研究提供更为精准的工具，推动相关领域的进步与创新。

📄 摘要（原文）

Transformer models have revolutionized natural language processing (NLP), and text-based molecular representations like SMILES have successfully extended these architectures to chemistry. However, domain-adaptive pre-training often causes models to overfit to chemical syntax, catastrophically forgetting their foundational semantic capabilities. To address this challenge, we introduce CheMatE, a chemistry-oriented embedding model that jointly captures molecular structure and domain-specific natural language within the same representation space. Built on a ModernBERT backbone, CheMatE learns bi-semantic representations through a two-stage training procedure: continued masked language modeling (MLM) followed by a Matryoshka contrastive learning stage via Multiple Negative Ranking Loss (MNRL). First, we train the model using MLM on a novel, large-scale corpus of SMILES-annotated, long-context scientific documents that were constructed and curated from FineWeb and ChemPile (comprising 10.4B and 11.5B tokens, respectively). Subsequently, the model undergoes contrastive learning using a synthetic dataset of SMILES-text pairs algorithmically derived from our original training corpus. This design exposes the model to SMILES-enriched scientific literature, enabling bi-semantic understanding. We evaluate CheMatE across a range of downstream tasks covering molecular property prediction and scientific language understanding. Our results demonstrate that coupling our custom-curated datasets with this sequential training strategy yields robust, highly transferable representations. By effectively unifying structural and contextual signals within a single text-based framework, CheMatE achieves competitive performance across both specialized chemistry models and general-purpose language model baselines.