Developing ChemDFM as a large language foundation model for chemistry

📄 arXiv: 2401.14818v6 📥 PDF

作者: Zihan Zhao, Da Ma, Lu Chen, Liangtai Sun, Zihao Li, Yi Xia, Bo Chen, Hongshen Xu, Zichen Zhu, Su Zhu, Shuai Fan, Guodong Shen, Kai Yu, Xin Chen

分类: cs.CL, cs.DL

发布日期: 2024-01-26 (更新: 2025-07-02)

备注: 10 pages, 12 figures, 12 tables. Published on Cell Report Physical Science, DOI: https://doi.org/10.1016/j.xcrp.2025.102523

期刊: Cell Rep. Phys. Sci. 6 (2025) 102523

DOI: 10.1016/j.xcrp.2025.102523

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出ChemDFM以解决化学领域通用AI模型不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 化学智能 任务泛化 自由对话 模型微调

📋 核心要点

  1. 现有的化学模型多为专用，缺乏通用性，限制了其在广泛任务中的应用。
  2. ChemDFM是一个针对化学领域的通用大型语言模型，旨在通过丰富的化学知识支持自由对话和推理。
  3. 实验结果显示，ChemDFM在多个化学任务上显著优于现有的开源大型语言模型，包括GPT-4。

📝 摘要（中文）

人工智能在化学研究中扮演着越来越重要的角色。然而，目前大多数化学模型都是专用模型，需要针对特定任务进行训练和调整。为此，本文开发了ChemDFM，一个针对化学领域的大型语言基础模型，使用来自化学文献和教科书的34B标记进行训练，并通过2.7M指令进行微调。实验结果表明，ChemDFM在多个化学任务上显著超越了大多数开源大型语言模型，尤其在许多化学任务上超越了GPT-4，尽管其规模差异显著。我们已在Huggingface上开源ChemDFM的推理代码、评估数据集和模型权重。

🔬 方法详解

问题定义：当前化学领域的AI模型多为专用，缺乏通用性和灵活性，限制了其在多任务中的应用效果。

核心思路：ChemDFM通过在大量化学文献和教科书上训练，旨在构建一个能够理解和推理化学知识的通用大型语言模型，支持自由形式的对话。

技术框架：ChemDFM的整体架构包括数据预处理、模型训练和微调三个主要阶段。首先，收集和清洗化学领域的文献数据；其次，使用34B标记进行初步训练；最后，通过2.7M指令进行微调以增强模型的对话能力。

关键创新：ChemDFM的主要创新在于其专门针对化学知识的训练，填补了现有通用大型语言模型在化学领域知识的缺失，显著提升了模型的任务泛化能力。

关键设计：在模型设计中，采用了特定的损失函数和参数设置，以优化模型在化学任务上的表现，确保其在推理和对话中的准确性。具体的网络结构细节和训练策略在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ChemDFM在多个化学任务上显著超越了大多数开源大型语言模型，尤其在许多化学任务上超越了GPT-4，尽管其模型规模较小。这一成果表明ChemDFM在化学领域的应用潜力和优势。

🎯 应用场景

ChemDFM的潜在应用场景包括化学教育、药物发现、材料科学等领域。其通用性和高效性使其能够支持研究人员和学生在化学领域的多种任务，提升研究效率和学习效果。未来，ChemDFM有望推动化学领域的智能化发展，促进跨学科的研究合作。

📄 摘要（原文）

Artificial intelligence (AI) has played an increasingly important role in chemical research. However, most models currently used in chemistry are specialist models that require training and tuning for specific tasks. A more generic and efficient solution would be an AI model that could address many tasks and support free-form dialogue in the broad field of chemistry. In its utmost form, such a generalist AI chemist could be referred to as Chemical General Intelligence. Large language models (LLMs) have recently logged tremendous success in the general domain of natural language processing, showing emerging task generalization and free-form dialogue capabilities. However, domain knowledge of chemistry is largely missing when training general-domain LLMs. The lack of such knowledge greatly hinders the performance of generalist LLMs in the field of chemistry. To this end, we develop ChemDFM, a pioneering LLM for chemistry trained on 34B tokens from chemical literature and textbooks, and fine-tuned using 2.7M instructions. As a result, it can understand and reason with chemical knowledge in free-form dialogue. Quantitative evaluations show that ChemDFM significantly surpasses most representative open-source LLMs. It outperforms GPT-4 on a great portion of chemical tasks, despite the substantial size difference. We have open-sourced the inference codes, evaluation datasets, and model weights of ChemDFM on Huggingface (https://huggingface.co/OpenDFM/ChemDFM-v1.0-13B).