$\texttt{MiniMol}$: A Parameter-Efficient Foundation Model for Molecular Learning

📄 arXiv: 2404.14986v1 📥 PDF

作者: Kerstin Kläser, Błażej Banaszewski, Samuel Maddrell-Mander, Callum McLean, Luis Müller, Ali Parviz, Shenyang Huang, Andrew Fitzgibbon

分类: cs.LG, cs.AI

发布日期: 2024-04-23

💡 一句话要点

提出MiniMol以解决分子学习中的数据稀缺问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分子学习 基础模型 数据稀缺 药物发现 机器学习

📋 核心要点

  1. 现有的分子学习模型通常依赖于大量参数，导致在数据稀缺的情况下表现不佳。
  2. MiniMol通过设计一个仅有1000万参数的基础模型，旨在有效利用有限的数据进行分子学习。
  3. 在TDC ADMET组的17个下游任务中，MiniMol显著提高了模型性能，超越了现有的最先进模型。

📝 摘要（中文）

在生物任务中，数据通常稀缺，难以获取。因此，基于大量可用数据进行预训练的基础模型，然后转移到低数据下游任务是一个有前景的方向。然而，如何设计有效的分子学习基础模型仍然是一个未解的问题，现有方法通常关注于大参数容量的模型。本文提出了MiniMol，一个具有1000万参数的分子学习基础模型。MiniMol在约3300个稀疏定义的图和节点级任务上进行预训练，涵盖量子和生物性质。预训练数据集包括约600万个分子和5亿个标签。通过在治疗数据共享平台（TDC）ADMET组的下游任务上进行评估，MiniMol在17个任务上显著超越了之前的最先进基础模型。MiniMol将作为公开开源模型供未来研究使用。

🔬 方法详解

问题定义：本文旨在解决分子学习中数据稀缺的问题。现有方法通常依赖于大参数模型，导致在数据不足时无法有效学习。

核心思路：MiniMol的核心思想是构建一个参数高效的基础模型，通过在多种稀疏定义的任务上进行预训练，从而提高在低数据任务中的表现。

技术框架：MiniMol的整体架构包括预训练和下游任务评估两个主要阶段。预训练阶段使用了约3300个图和节点级任务，涵盖量子和生物性质。下游评估阶段则在TDC ADMET组的17个任务上进行。

关键创新：MiniMol的主要创新在于其参数效率，只有1000万参数，显著低于现有模型，同时在多个任务上展现出优越的性能。

关键设计：模型的设计包括对预训练数据集的精心选择，涵盖600万个分子和5亿个标签，采用适合分子学习的损失函数和网络结构，以确保模型的有效性和泛化能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在TDC ADMET组的17个下游任务中，MiniMol显著提升了模型性能，超越了之前的最先进基础模型，展示了在数据稀缺情况下的强大泛化能力，具体性能提升幅度未知。

🎯 应用场景

MiniMol的研究成果在药物发现、分子设计和生物信息学等领域具有广泛的应用潜力。通过提高低数据环境下的学习能力，该模型可以加速新药研发过程，降低实验成本，并推动生物医学研究的进展。

📄 摘要（原文）

In biological tasks, data is rarely plentiful as it is generated from hard-to-gather measurements. Therefore, pre-training foundation models on large quantities of available data and then transfer to low-data downstream tasks is a promising direction. However, how to design effective foundation models for molecular learning remains an open question, with existing approaches typically focusing on models with large parameter capacities. In this work, we propose $\texttt{MiniMol}$, a foundational model for molecular learning with 10 million parameters. $\texttt{MiniMol}$ is pre-trained on a mix of roughly 3300 sparsely defined graph- and node-level tasks of both quantum and biological nature. The pre-training dataset includes approximately 6 million molecules and 500 million labels. To demonstrate the generalizability of $\texttt{MiniMol}$ across tasks, we evaluate it on downstream tasks from the Therapeutic Data Commons (TDC) ADMET group showing significant improvements over the prior state-of-the-art foundation model across 17 tasks. $\texttt{MiniMol}$ will be a public and open-sourced model for future research.