Generating QM1B with PySCF$_{\text{IPU}}$

📄 arXiv: 2311.01135v1 📥 PDF

作者: Alexander Mathiasen, Hatem Helal, Kerstin Klaser, Paul Balanca, Josef Dean, Carlo Luschi, Dominique Beaini, Andrew Fitzgibbon, Dominic Masters

分类: cs.LG, physics.chem-ph

发布日期: 2023-11-02

备注: 15 pages, 7 figures. NeurIPS 2023 Track Datasets and Benchmarks

🔗 代码/项目: GITHUB

💡 一句话要点

提出PySCF$_{ ext{IPU}}$生成QM1B数据集以推动量子化学研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量子化学 数据生成 深度学习 智能处理单元 密度泛函理论 大规模数据集 神经网络

📋 核心要点

  1. 现有量子化学数据集规模较小，限制了深度学习的潜力，且标签计算依赖于计算密集型的密度泛函理论（DFT）。
  2. 本文提出了利用智能处理单元（IPU）构建数据生成器PySCF$_{ ext{IPU}}$，以生成包含十亿条训练样本的QM1B数据集。
  3. 实验表明，简单的基线神经网络（SchNet 9M）在增加训练数据后性能显著提升，未引入额外的归纳偏置。

📝 摘要（中文）

随着基础模型在计算机视觉和自然语言处理领域的出现，相关下游任务取得了巨大的进展。然而，量子化学领域仍面临数据集规模小的问题，现有数据集仅有10万到2000万条训练样本。本文首次利用智能处理单元（IPU）提出数据生成器PySCF$_{ ext{IPU}}$，成功创建了包含十亿条训练样本的QM1B数据集。通过增加训练数据，简单的基线神经网络（SchNet 9M）在性能上得到了显著提升。我们还强调了QM1B的局限性，并呼吁未来研究者负责任地使用该数据集。

🔬 方法详解

问题定义：本文旨在解决量子化学领域中数据集规模小的问题，现有数据集的标签计算依赖于计算密集型的密度泛函理论（DFT），限制了深度学习的应用。

核心思路：通过引入智能处理单元（IPU），本文设计了数据生成器PySCF$_{ ext{IPU}}$，以高效生成大规模量子化学数据集，从而推动深度学习在该领域的应用。

技术框架：整体架构包括数据生成模块和训练模块。数据生成模块利用IPU加速DFT计算，生成包含十亿条样本的QM1B数据集；训练模块则使用生成的数据进行模型训练。

关键创新：最重要的创新点在于首次将IPU应用于量子化学数据生成，显著提高了数据生成的效率和规模，打破了传统CPU超算的限制。

关键设计：在网络结构上，使用了SchNet 9M作为基线模型，未引入额外的归纳偏置，通过增加训练数据量来提升模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基线神经网络SchNet 9M在使用QM1B数据集后，性能显著提升，具体提升幅度未知。此结果表明，增加训练数据量对模型性能的影响显著，且未引入额外的归纳偏置。

🎯 应用场景

该研究为量子化学领域提供了一个大规模数据集QM1B，能够促进深度学习技术在化学分子预测、材料科学等领域的应用。未来，研究者可以基于该数据集进行更深入的研究，推动量子化学的进步。

📄 摘要（原文）

The emergence of foundation models in Computer Vision and Natural Language Processing have resulted in immense progress on downstream tasks. This progress was enabled by datasets with billions of training examples. Similar benefits are yet to be unlocked for quantum chemistry, where the potential of deep learning is constrained by comparatively small datasets with 100k to 20M training examples. These datasets are limited in size because the labels are computed using the accurate (but computationally demanding) predictions of Density Functional Theory (DFT). Notably, prior DFT datasets were created using CPU supercomputers without leveraging hardware acceleration. In this paper, we take a first step towards utilising hardware accelerators by introducing the data generator PySCF$_{\text{IPU}}$ using Intelligence Processing Units (IPUs). This allowed us to create the dataset QM1B with one billion training examples containing 9-11 heavy atoms. We demonstrate that a simple baseline neural network (SchNet 9M) improves its performance by simply increasing the amount of training data without additional inductive biases. To encourage future researchers to use QM1B responsibly, we highlight several limitations of QM1B and emphasise the low-resolution of our DFT options, which also serves as motivation for even larger, more accurate datasets. Code and dataset are available on Github: http://github.com/graphcore-research/pyscf-ipu