Can Large Language Models Understand Molecules?

📄 arXiv: 2402.00024v3 📥 PDF

作者: Shaghayegh Sadeghi, Alan Bui, Ali Forooghi, Jianguo Lu, Alioune Ngom

分类: q-bio.BM, cs.AI, cs.CL, cs.LG

发布日期: 2024-01-05 (更新: 2024-05-21)

🔗 代码/项目: GITHUB

💡 一句话要点

利用大语言模型提升分子嵌入理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 化学信息学 SMILES 分子嵌入 药物发现 机器学习

📋 核心要点

  1. 现有的分子嵌入方法在处理SMILES字符串时存在性能不足，尤其是在分子属性和药物相互作用预测任务中。
  2. 本研究提出利用LLaMA生成SMILES嵌入，旨在提升在下游任务中的表现，特别是在分子属性和药物-药物相互作用预测方面。
  3. 实验结果显示，LLaMA生成的SMILES嵌入在分子属性和药物-药物相互作用预测任务中均优于GPT，并与预训练模型的表现相当。

📝 摘要（中文）

本研究探讨了大型语言模型（LLMs）在化学信息学领域的潜力，特别是在理解简化分子输入行表示法（SMILES）方面。我们比较了GPT和LLaMA在SMILES字符串嵌入及其在分子属性预测和药物-药物相互作用预测中的表现。结果表明，LLaMA生成的SMILES嵌入在这两项任务中均优于GPT，并在药物-药物相互作用预测任务中显著超越了预训练模型。我们的研究为LLMs在分子表示领域的应用提供了新的视角，期待激励更多相关研究。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在化学信息学中对SMILES字符串的理解和嵌入能力不足的问题。现有方法在分子属性预测和药物-药物相互作用预测任务中表现不佳，限制了其应用潜力。

核心思路：我们提出利用LLaMA生成SMILES嵌入，重点关注其在下游任务中的表现。通过对比GPT和LLaMA的性能，探索LLMs在分子嵌入中的应用潜力。

技术框架：研究首先对GPT和LLaMA进行预训练，然后在SMILES字符串上进行嵌入，接着将生成的嵌入应用于分子属性预测和药物-药物相互作用预测任务。

关键创新：LLaMA生成的SMILES嵌入在药物-药物相互作用预测任务中显著优于GPT和其他预训练模型，展示了LLMs在分子表示领域的独特优势。

关键设计：在实验中，我们对模型的超参数进行了精细调整，使用了适当的损失函数以优化嵌入质量，并确保了模型的训练过程符合化学信息学的特定需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLaMA生成的SMILES嵌入在分子属性和药物-药物相互作用预测任务中均优于GPT，特别是在药物-药物相互作用预测中，LLaMA的表现显著超越了所有预训练模型，展示了其在化学信息学中的应用潜力。

🎯 应用场景

本研究的成果在药物发现、分子设计和化学信息学等领域具有广泛的应用潜力。通过提升大语言模型在分子嵌入方面的表现，可以加速新药的研发过程，并提高分子属性预测的准确性，推动相关领域的进一步研究与应用。

📄 摘要（原文）

Purpose: Large Language Models (LLMs) like GPT (Generative Pre-trained Transformer) from OpenAI and LLaMA (Large Language Model Meta AI) from Meta AI are increasingly recognized for their potential in the field of cheminformatics, particularly in understanding Simplified Molecular Input Line Entry System (SMILES), a standard method for representing chemical structures. These LLMs also have the ability to decode SMILES strings into vector representations. Method: We investigate the performance of GPT and LLaMA compared to pre-trained models on SMILES in embedding SMILES strings on downstream tasks, focusing on two key applications: molecular property prediction and drug-drug interaction prediction. Results: We find that SMILES embeddings generated using LLaMA outperform those from GPT in both molecular property and DDI prediction tasks. Notably, LLaMA-based SMILES embeddings show results comparable to pre-trained models on SMILES in molecular prediction tasks and outperform the pre-trained models for the DDI prediction tasks. Conclusion: The performance of LLMs in generating SMILES embeddings shows great potential for further investigation of these models for molecular embedding. We hope our study bridges the gap between LLMs and molecular embedding, motivating additional research into the potential of LLMs in the molecular representation field. GitHub: https://github.com/sshaghayeghs/LLaMA-VS-GPT