LLM-SR: Scientific Equation Discovery via Programming with Large Language Models
作者: Parshin Shojaee, Kazem Meidani, Shashank Gupta, Amir Barati Farimani, Chandan K Reddy
分类: cs.LG, cs.AI, cs.CL, cs.NE
发布日期: 2024-04-29 (更新: 2025-03-20)
备注: ICLR 2025 Oral
🔗 代码/项目: GITHUB
💡 一句话要点
提出LLM-SR以解决科学方程发现问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 科学方程发现 大型语言模型 符号回归 进化算法 数据驱动建模
📋 核心要点
- 现有的符号回归方法在从数据中提取科学方程时，往往忽视领域特定的先验知识，导致发现效率低下。
- LLM-SR通过将方程视为程序，结合大型语言模型的科学知识与进化搜索，提出了一种新的方程发现方法。
- 实验结果显示，LLM-SR在多个科学领域的测试中发现的方程在准确性上显著优于现有方法，尤其在域外测试中表现突出。
📝 摘要（中文）
数学方程在描述复杂自然现象方面极为有效，但从数据中发现这些方程面临重大挑战，尤其是在庞大的组合假设空间中。现有的符号回归技术主要关注从数据中提取方程，往往忽视科学家依赖的领域特定先验知识，并且使用有限的表示形式如表达树，限制了搜索空间和方程的表现力。为了解决这些问题，本文提出了LLM-SR，一种利用大型语言模型（LLMs）丰富的科学知识和强大的代码生成能力来发现科学方程的新方法。LLM-SR将方程视为具有数学运算符的程序，结合LLMs的科学先验与方程程序的进化搜索。实验结果表明，LLM-SR在多个科学领域的基准问题上发现的方程在物理准确性上显著优于现有的符号回归基线，尤其是在域外测试设置中。
🔬 方法详解
问题定义：论文旨在解决从数据中发现科学方程的挑战，现有方法在处理复杂的组合假设空间时效率低下，且缺乏领域知识的支持。
核心思路：LLM-SR的核心思路是将方程视为程序，利用大型语言模型的科学先验知识和代码生成能力，结合进化搜索来优化方程的参数。
技术框架：LLM-SR的整体架构包括方程生成模块和参数优化模块。首先，LLM根据领域知识生成方程骨架，然后通过进化算法优化这些方程以适应数据。
关键创新：LLM-SR的主要创新在于将方程视为程序的处理方式，利用LLMs的科学知识进行方程生成和优化，这与传统的符号回归方法有本质区别。
关键设计：在设计中，LLM-SR使用了进化算法来探索方程空间，并通过迭代优化参数，确保生成的方程在物理上具有准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LLM-SR在四个基准问题上发现的方程在物理准确性上显著优于现有的符号回归基线，特别是在域外测试中，性能提升幅度达到XX%。此外，LLM-SR的科学先验知识使得方程空间的探索效率更高。
🎯 应用场景
该研究的潜在应用领域包括物理、生物学等科学领域，能够帮助科学家从实验数据中自动发现有效的数学模型，提升研究效率。未来，LLM-SR可能在科学研究、工程设计和数据分析等多个领域产生深远影响。
📄 摘要（原文）
Mathematical equations have been unreasonably effective in describing complex natural phenomena across various scientific disciplines. However, discovering such insightful equations from data presents significant challenges due to the necessity of navigating extremely large combinatorial hypothesis spaces. Current methods of equation discovery, commonly known as symbolic regression techniques, largely focus on extracting equations from data alone, often neglecting the domain-specific prior knowledge that scientists typically depend on. They also employ limited representations such as expression trees, constraining the search space and expressiveness of equations. To bridge this gap, we introduce LLM-SR, a novel approach that leverages the extensive scientific knowledge and robust code generation capabilities of Large Language Models (LLMs) to discover scientific equations from data. Specifically, LLM-SR treats equations as programs with mathematical operators and combines LLMs' scientific priors with evolutionary search over equation programs. The LLM iteratively proposes new equation skeleton hypotheses, drawing from its domain knowledge, which are then optimized against data to estimate parameters. We evaluate LLM-SR on four benchmark problems across diverse scientific domains (e.g., physics, biology), which we carefully designed to simulate the discovery process and prevent LLM recitation. Our results demonstrate that LLM-SR discovers physically accurate equations that significantly outperform state-of-the-art symbolic regression baselines, particularly in out-of-domain test settings. We also show that LLM-SR's incorporation of scientific priors enables more efficient equation space exploration than the baselines. Code and data are available: https://github.com/deep-symbolic-mathematics/LLM-SR