LlaSMol: Advancing Large Language Models for Chemistry with a Large-Scale, Comprehensive, High-Quality Instruction Tuning Dataset

📄 arXiv: 2402.09391v4 📥 PDF

作者: Botao Yu, Frazier N. Baker, Ziqi Chen, Xia Ning, Huan Sun

分类: cs.AI, cs.CE, cs.CL

发布日期: 2024-02-14 (更新: 2024-08-10)

备注: Accepted by COLM 2024

💡 一句话要点

提出SMolInstruct以提升大语言模型在化学任务中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 化学任务 指令调优 数据集构建 模型微调 性能提升 药物发现 材料科学

📋 核心要点

  1. 现有的大语言模型在化学任务中的表现远低于预期，亟需改进。
  2. 提出SMolInstruct数据集，包含14个化学任务和超过三百万个样本，用于指令调优。
  3. 实验结果显示，使用SMolInstruct微调的模型在化学任务上显著超越了GPT-4和Claude 3 Opus。

📝 摘要（中文）

化学在药物发现和材料科学等多个领域中扮演着重要角色。尽管像GPT-4这样的语言模型在自然语言处理任务中表现出色，但在化学任务上的表现却令人失望。本文展示了我们开发的语言模型在一系列化学任务中取得了显著的成果，超越了最先进的GPT-4和Claude 3 Opus。为此，我们提出了SMolInstruct，一个大规模、全面且高质量的指令调优数据集，包含14个精选的化学任务和超过三百万个样本，为化学领域的语言模型训练和评估奠定了坚实基础。通过SMolInstruct，我们对一系列开源语言模型进行了微调，发现Mistral是化学任务的最佳基础模型。我们的分析进一步证明了该数据集在提升性能方面的关键作用。

🔬 方法详解

问题定义：本文旨在解决现有大语言模型在化学任务中表现不佳的问题。现有方法在处理化学相关任务时，缺乏足够的高质量数据集支持，导致模型性能低下。

核心思路：我们提出SMolInstruct数据集，旨在为大语言模型提供一个全面且高质量的训练基础，以提升其在化学任务中的表现。通过精心挑选的任务和丰富的数据样本，增强模型的学习能力。

技术框架：整体架构包括数据集构建、模型选择与微调三个主要阶段。首先，构建SMolInstruct数据集；其次，选择适合化学任务的基础模型；最后，通过微调提升模型在特定任务上的表现。

关键创新：最大的技术创新在于SMolInstruct数据集的构建，它不仅规模庞大，而且覆盖了多种化学任务，显著提升了模型的训练效果，与现有方法相比，提供了更为丰富的学习材料。

关键设计：在模型微调过程中，采用了特定的损失函数和优化策略，以确保模型能够有效学习化学领域的知识。同时，选择Mistral作为基础模型，是基于其在初步实验中的优异表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用SMolInstruct微调的模型在14个化学任务上表现优异，超越了GPT-4和Claude 3 Opus，提升幅度显著，具体性能数据未详述，但结果显示出明显的优势。

🎯 应用场景

该研究的潜在应用领域包括药物发现、材料科学以及化学教育等。通过提升大语言模型在化学任务中的表现，可以加速科学研究和创新，推动相关领域的发展。未来，SMolInstruct数据集有望成为化学领域AI研究的重要基石，促进更多应用的落地。

📄 摘要（原文）

Chemistry plays a crucial role in many domains, such as drug discovery and material science. While large language models (LLMs) such as GPT-4 exhibit remarkable capabilities on natural language processing tasks, existing research indicates that their performance on chemistry tasks is discouragingly low. In this paper, however, we demonstrate that our developed LLMs can achieve very strong results on a comprehensive set of chemistry tasks, outperforming the most advanced GPT-4 and Claude 3 Opus by a substantial margin. To accomplish this, we propose SMolInstruct, a large-scale, comprehensive, and high-quality dataset for instruction tuning. It contains 14 selected chemistry tasks and over three million samples, laying a solid foundation for training and evaluating LLMs for chemistry. Using SMolInstruct, we fine-tune a set of open-source LLMs, among which, we find that Mistral serves as the best base model for chemistry tasks. Our analysis further demonstrates the critical role of the proposed dataset in driving the performance improvements.