Tracing the Scientific Discovery Capacity of LLMs to Their Training Data

📄 arXiv: 2611.03617v1 📥 PDF

作者: Arda Uzunoglu, Mahler Revsine, Michael Schatz, Benjamin Van Durme, Mehrdad Farajtabar, Daniel Khashabi, Eric Nalisnick

分类: cs.CL, cs.AI

发布日期: 2026-11-02

💡 一句话要点

通过单一事实率提升大语言模型的科学发现能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 科学发现 单一事实 训练数据 材料科学 基因组学 模型评估

📋 核心要点

  1. 现有方法对大语言模型在科学发现中的能力缺乏深入理解，尤其是如何将其与训练数据关联。
  2. 论文提出通过操控训练集中的单一事实率，来研究其对科学发现能力的影响，建立理论框架。
  3. 实验结果表明，增加单一事实率能够显著提升模型在不同科学领域的发现能力，且这一效果超出训练集多样性的解释。

📝 摘要（中文）

大型语言模型（LLMs）在科学发现中展现出越来越大的潜力，但关于其可靠发现能力的基础问题仍然存在。本文探讨如何将LLMs的科学发现能力追溯到其训练数据，提出了一个理论框架，其中单一事实（monofacts）在训练中仅观察一次，决定了发现能力。在材料科学和监管基因组学中，研究者直接操控训练集中的单一事实率，发现更多的单一事实与更多的发现之间存在一致的关系。进一步实验表明，这一关系不仅仅由训练集的多样性解释，并且在与领域内数据结合时可以跨科学领域转移。研究结果表明，训练数据中的单一事实率是影响语言模型发现能力的关键因素。

🔬 方法详解

问题定义：本文旨在解决如何将大型语言模型的科学发现能力与其训练数据中的特征关联起来，现有方法未能充分揭示这一关系的复杂性。

核心思路：研究者提出通过操控训练集中的单一事实率（monofacts）来评估其对科学发现能力的影响，认为单一事实是决定发现能力的关键因素。

技术框架：研究采用了两种开放权重模型家族，结合不同的采样策略和推理预算，系统性地分析了单一事实率对发现能力的影响。

关键创新：本研究的创新点在于首次系统性地将单一事实率与科学发现能力关联起来，揭示了这一因素在不同科学领域的普适性。

关键设计：实验中通过调整训练集中的单一事实数量，观察其对模型发现能力的影响，设计了多种实验以确保结果的可靠性和可转移性。具体参数设置和损失函数等技术细节在实验部分进行了详细描述。

📊 实验亮点

实验结果显示，增加训练集中的单一事实率能够显著提升模型的发现能力，尤其是在材料科学和监管基因组学领域。具体而言，实验表明在控制变量的情况下，单一事实率的提高与发现数量呈现正相关关系，验证了理论框架的有效性。

🎯 应用场景

该研究的潜在应用领域包括材料科学、基因组学等多个科学领域，能够为科学研究提供新的思路和工具，提升科学发现的效率和准确性。未来，随着模型和数据的不断进步，该方法可能在更广泛的科学研究中发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) show growing promise for scientific discovery, yet basic questions remain about what enables reliable discovery. How can we trace the scientific discovery capacity of LLMs to their training data? We study this question as one of missing probability mass and develop a theoretical account in which monofacts-the facts observed once during training-set the discovery capacity. In materials science and regulatory genomics, we directly manipulate monofact rates in training sets and find that more monofacts consistently yield more discoveries across two open-weight model families, sampling strategies, and reasoning budgets. Further experiments show the relationship cannot be explained by training-set diversity alone and can transfer across scientific domains when paired with in-domain data. Together, our results identify monofact rate in training data as a key factor governing discoveries in language models.