General-purpose foundation models surpass specialized ones on chemical property prediction tasks

📄 arXiv: 2610.41899v1 📥 PDF

作者: Stepan N. Ostarkov, Gregorii A. Semakin, Ivan A. Bespalov, Michael G. Medvedev

分类: physics.chem-ph, cs.AI

发布日期: 2026-10-30

💡 一句话要点

通用基础模型在化学性质预测任务中超越专业模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基础模型 化学性质预测 通用模型 数据稀缺 机器学习 分子结构 性能评估

📋 核心要点

  1. 现有的化学基础模型在小型实验数据集上表现不佳，尤其是在数据稀缺的情况下。
  2. 论文提出利用通用基础模型进行化学性质预测，强调其在知识学习上的优势。
  3. 实验结果显示，通用模型在多个回归任务上表现优于专业化学模型，尤其在数据点较少时。

📝 摘要（中文）

基础模型（FMs）从大量未标记数据中学习可重用的表示。在化学领域，相关数据主要由丰富的分子结构组成，而实验测量则相对稀缺。化学基础模型如ChemBERTa和MoLFormer经过多样化的分子结构训练，以便在小型实验数据集上进行微调并进行性质预测。本文比较了化学和通用基础模型在不同化学领域任务上的准确性，发现通用模型GPT-6 Astra在仅有60个实验数据点的情况下，超越了当前的化学基础模型。只有在提供10倍数据点时，最佳化学模型的表现才能与GPT-6 Astra相媲美。这表明，前沿的通用基础模型在数据稀缺领域更适合指导化学研究。

🔬 方法详解

问题定义：本文旨在解决化学领域中数据稀缺情况下的性质预测问题。现有的专业化学基础模型在小型实验数据集上表现不佳，限制了其应用。

核心思路：论文的核心思路是利用通用基础模型（如GPT-6 Astra）进行化学性质预测，认为其在知识学习上具有更大的优势，能够更好地处理数据稀缺的问题。

技术框架：整体架构包括数据收集、模型训练和性能评估三个主要阶段。首先，收集大量的分子结构数据，然后在通用基础模型上进行训练，最后通过实验数据进行微调和评估。

关键创新：最重要的技术创新点在于证明了通用基础模型在化学性质预测任务中优于专业模型的能力，尤其是在数据稀缺的情况下，这与传统观点相悖。

关键设计：在模型训练中，采用了大量的公开数据进行预训练，并在小型实验数据集上进行微调。损失函数和网络结构的设计旨在最大化模型对化学性质的理解和预测能力。

📊 实验亮点

实验结果显示，通用模型GPT-6 Astra在仅有60个实验数据点时，超越了当前的化学基础模型，表现出色。只有在提供10倍数据点时，最佳化学模型的表现才能与GPT-6 Astra相媲美，显示出通用模型在数据稀缺情况下的优势。

🎯 应用场景

该研究的潜在应用领域包括药物发现、材料科学和环境化学等。通用基础模型的应用可以加速化学研究的进展，尤其是在实验数据稀缺的情况下，具有重要的实际价值和未来影响。

📄 摘要（原文）

Foundation models (FMs) learn reusable representations from large collections of unlabeled data. In chemistry the corresponding data mainly consists of molecular structures, which are abundant, whereas experimental measurements are scarce. Chemical FMs such as ChemBERTa and MoLFormer were therefore trained on diverse molecular structures to enable fine-tuning on small experimental datasets (less than 100 datapoints in most realistic scenarios) and subsequent property prediction. At the same time, general-purpose FMs such as GPT-6 Astra and Claude Opus 5.5 were trained on virtually all publicly available data, including knowledge of the humankind on molecular properties and laws governing them. Here we compare accuracies of chemical and general-purpose FMs on tasks from various areas of chemistry. Strikingly, general-purpose GPT-6 Astra outperforms the currently eligible chemical FMs on five physicochemical and quantum-chemical regression tasks when only 60 experimental datapoints are available. Only when provided 10x datapoints do the best chemical FMs reach performance of GPT-6 Astra: on 1,000 and 10,000 points they show performance on par with Astra on 60 and 1,000 points, respectively. Thus, counterintuitively, frontier general-purpose FMs are better suited for guiding chemical research in data-scarce areas than specialized chemical FMs, suggesting that learning relevant primitives (e.g. chemical structures) does not substitute training on relevant humankind knowledge.