Fine-Tuned Language Models Generate Stable Inorganic Materials as Text

📄 arXiv: 2402.04379v2 📥 PDF

作者: Nate Gruver, Anuroop Sriram, Andrea Madotto, Andrew Gordon Wilson, C. Lawrence Zitnick, Zachary Ulissi

分类: cs.LG, cond-mat.mtrl-sci

发布日期: 2024-02-06 (更新: 2025-07-24)

备注: ICLR 2024. Code available at: https://github.com/facebookresearch/crystal-llm

💡 一句话要点

提出微调语言模型以生成稳定无机材料

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 材料生成 语言模型 微调 无机材料 机器学习 晶体结构 物理约束

📋 核心要点

  1. 现有方法在生成稳定无机材料时面临物理约束的遵循问题，导致生成的结构不够可靠。
  2. 论文提出通过微调大型语言模型，利用文本编码的原子数据生成稳定材料，简化了实现过程。
  3. 实验结果表明，微调的LLaMA-2 70B模型生成的亚稳态材料速度显著提高，优于现有扩散模型CDVAE。

📝 摘要（中文）

我们提出对大型语言模型进行微调，以生成稳定的材料。尽管这一方法不常规，但在文本编码的原子数据上微调大型语言模型简单易行且可靠，约90%的样本结构符合原子位置和电荷的物理约束。通过使用学习的机器学习势能和标准密度泛函理论（DFT）计算的能量高于壳层的计算，我们展示了最强模型（微调的LLaMA-2 70B）生成的材料在约两倍的速度下被预测为亚稳态（49%对比28%），优于竞争的扩散模型CDVAE。由于文本提示的固有灵活性，我们的模型可以同时用于稳定材料的无条件生成、部分结构的填充和文本条件生成。最后，我们表明，语言模型捕捉晶体结构关键对称性的能力随着模型规模的增加而提高，表明预训练大型语言模型的偏差意外地适合原子数据。

🔬 方法详解

问题定义：本论文旨在解决生成稳定无机材料时，现有方法无法有效遵循物理约束的问题，导致生成结构的可靠性不足。

核心思路：通过微调大型语言模型，利用文本编码的原子数据进行材料生成，简化了实现过程并提高了生成的可靠性。

技术框架：整体架构包括数据准备、模型微调和生成阶段。首先，将原子数据编码为文本格式，然后对大型语言模型进行微调，最后使用微调后的模型进行材料生成。

关键创新：最重要的技术创新在于将大型语言模型应用于材料生成领域，利用其强大的文本理解能力来捕捉晶体结构的对称性，从而提高生成材料的稳定性。

关键设计：在模型微调过程中，采用了特定的损失函数来确保生成结构符合物理约束，同时调整了模型的超参数以优化生成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，微调的LLaMA-2 70B模型生成的材料预测为亚稳态的比例达到49%，显著高于竞争模型CDVAE的28%。这一提升表明微调语言模型在材料生成中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括新材料的发现与设计，尤其是在催化剂、电子材料和能源存储等领域。通过利用微调语言模型生成稳定材料，可以加速材料科学的研究进程，降低实验成本，具有重要的实际价值和未来影响。

📄 摘要（原文）

We propose fine-tuning large language models for generation of stable materials. While unorthodox, fine-tuning large language models on text-encoded atomistic data is simple to implement yet reliable, with around 90% of sampled structures obeying physical constraints on atom positions and charges. Using energy above hull calculations from both learned ML potentials and gold-standard DFT calculations, we show that our strongest model (fine-tuned LLaMA-2 70B) can generate materials predicted to be metastable at about twice the rate (49% vs 28%) of CDVAE, a competing diffusion model. Because of text prompting's inherent flexibility, our models can simultaneously be used for unconditional generation of stable material, infilling of partial structures and text-conditional generation. Finally, we show that language models' ability to capture key symmetries of crystal structures improves with model scale, suggesting that the biases of pretrained LLMs are surprisingly well-suited for atomistic data.