Contextual Molecule Representation Learning from Chemical Reaction Knowledge

📄 arXiv: 2402.13779v1 📥 PDF

作者: Han Tang, Shikun Feng, Bicheng Lin, Yuyan Ni, JIngjing Liu, Wei-Ying Ma, Yanyan Lan

分类: cs.LG, cs.AI, q-bio.BM

发布日期: 2024-02-21

备注: Preprint. Under Review

💡 一句话要点

提出REMO框架以解决分子表示学习中的复杂性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 分子表示学习 自监督学习 化学反应 图神经网络 Transformer 药物发现 深度学习

📋 核心要点

  1. 现有的分子表示学习方法在处理原子组合的复杂性时表现不佳，导致掩蔽-重建策略难以有效应用。
  2. REMO框架通过利用化学反应的上下文信息，设计了基于图/Transformer的自监督学习方法，提出了MRCR和RCI两个预训练目标。
  3. 在MoleculeACE、ACNet、药物-药物相互作用和反应类型分类等任务中，REMO在性能上显著优于传统的单分子掩蔽建模基线，且在活性悬崖基准测试中首次超越了基于指纹的方法。

📝 摘要（中文）

近年来，自监督学习成为利用大量未标记数据进行表示学习的强大工具，广泛应用于多个领域。然而，在分子表示学习中，现有技术如掩蔽子单元重建常常面临挑战，主要由于分子中原子的组合自由度高，导致掩蔽-重建范式的复杂性难以克服。为此，本文提出了REMO框架，利用化学中的原子组合规则，基于170万已知化学反应进行图/Transformer编码器的预训练。我们提出了两个预训练目标：掩蔽反应中心重建（MRCR）和反应中心识别（RCI）。REMO通过利用化学反应中的共享模式作为上下文，推断出有意义的化学知识表示，支持多种下游分子任务，且在所有测试任务中均超越了当前MRL的基线。

🔬 方法详解

问题定义：本文旨在解决分子表示学习中的复杂性问题，现有方法如掩蔽子单元重建在面对高自由度的原子组合时，难以有效捕捉分子特征，导致性能不足。

核心思路：REMO框架通过利用化学反应中的原子组合规则，设计了自监督学习的预训练策略，旨在从化学反应的上下文中提取有意义的分子表示。

技术框架：REMO的整体架构包括图/Transformer编码器的预训练，主要模块包括掩蔽反应中心重建（MRCR）和反应中心识别（RCI），通过对170万化学反应数据的学习，构建上下文信息。

关键创新：REMO的创新在于通过化学反应的上下文信息进行预训练，显著提高了分子表示的有效性，与传统的单分子掩蔽建模方法相比，能够更好地捕捉化学知识的共享模式。

关键设计：在模型设计中，REMO采用了特定的损失函数来优化MRCR和RCI目标，网络结构基于图神经网络和Transformer，确保了对化学反应的有效建模。具体参数设置和训练策略在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

REMO在MoleculeACE、ACNet、药物-药物相互作用和反应类型分类等多个下游任务中均表现优异，超越了当前的单分子掩蔽建模基线，尤其在活性悬崖基准测试中首次实现了对基于指纹方法的超越，展示了其强大的性能提升。

🎯 应用场景

REMO框架在药物发现、化学反应预测和分子特征提取等领域具有广泛的应用潜力。其有效的分子表示学习能力可以支持药物-药物相互作用预测、亲和力预测等下游任务，推动相关领域的研究进展。未来，REMO有望在更复杂的化学系统中发挥作用，促进智能化药物设计的实现。

📄 摘要（原文）

In recent years, self-supervised learning has emerged as a powerful tool to harness abundant unlabelled data for representation learning and has been broadly adopted in diverse areas. However, when applied to molecular representation learning (MRL), prevailing techniques such as masked sub-unit reconstruction often fall short, due to the high degree of freedom in the possible combinations of atoms within molecules, which brings insurmountable complexity to the masking-reconstruction paradigm. To tackle this challenge, we introduce REMO, a self-supervised learning framework that takes advantage of well-defined atom-combination rules in common chemistry. Specifically, REMO pre-trains graph/Transformer encoders on 1.7 million known chemical reactions in the literature. We propose two pre-training objectives: Masked Reaction Centre Reconstruction (MRCR) and Reaction Centre Identification (RCI). REMO offers a novel solution to MRL by exploiting the underlying shared patterns in chemical reactions as \textit{context} for pre-training, which effectively infers meaningful representations of common chemistry knowledge. Such contextual representations can then be utilized to support diverse downstream molecular tasks with minimum finetuning, such as affinity prediction and drug-drug interaction prediction. Extensive experimental results on MoleculeACE, ACNet, drug-drug interaction (DDI), and reaction type classification show that across all tested downstream tasks, REMO outperforms the standard baseline of single-molecule masked modeling used in current MRL. Remarkably, REMO is the pioneering deep learning model surpassing fingerprint-based methods in activity cliff benchmarks.