In-Context Symbolic Regression: Leveraging Large Language Models for Function Discovery

📄 arXiv: 2404.19094v2 📥 PDF

作者: Matteo Merler, Katsiaryna Haitsiukevich, Nicola Dainese, Pekka Marttinen

分类: cs.CL, cs.LG

发布日期: 2024-04-29 (更新: 2024-07-17)

备注: 18 pages, 11 figures

期刊: ACL Student Research Workshop 2024

DOI: 10.18653/v1/2024.acl-srw.49

💡 一句话要点

提出基于大语言模型的上下文符号回归方法以解决函数发现问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 符号回归 大语言模型 函数发现 数学建模 机器学习

📋 核心要点

  1. 现有的符号回归方法通常依赖于专门化模型，难以充分利用大语言模型的潜力。
  2. 本文提出的上下文符号回归(ICSR)方法，通过LLM迭代优化函数形式，结合外部优化器来确定系数。
  3. 实验结果显示，ICSR在四个流行基准测试中表现优异，能够生成更简单且具有更好泛化能力的符号方程。

📝 摘要（中文）

当前的符号回归(SR)方法通常构建专门化模型，而大语言模型(LLMs)的应用尚未得到充分探索。本文提出了首个综合框架，利用LLMs进行符号回归任务。我们提出的上下文符号回归(ICSR)方法通过LLM迭代优化函数形式，并利用外部优化器确定其系数。ICSR利用LLMs强大的数学先验，基于观察值提出初始可能函数集，并根据误差进行优化。研究结果表明，LLMs能够成功找到符合给定数据的符号方程，其整体性能与最佳SR基线相匹配或超越，同时生成更简单的方程，具有更好的分布外泛化能力。

🔬 方法详解

问题定义：本文旨在解决符号回归(SR)中的函数发现问题，现有方法往往构建专门化模型，未能充分利用大语言模型的优势，导致性能受限。

核心思路：提出上下文符号回归(ICSR)方法，通过大语言模型迭代优化函数形式，并利用外部优化器来确定函数的系数，从而提高符号回归的效率和准确性。

技术框架：ICSR的整体框架包括两个主要模块：首先，利用LLM生成初始函数形式；其次，基于观察数据和误差反馈，迭代优化这些函数形式。

关键创新：ICSR的核心创新在于将LLMs应用于符号回归任务，利用其强大的数学先验知识来生成和优化符号方程，这与传统的专门化模型方法有本质区别。

关键设计：在参数设置上，ICSR通过外部优化器来精确调整函数系数，损失函数设计为最小化预测误差，同时确保生成的方程尽可能简单，以提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ICSR在四个流行基准测试中表现优异，其性能与最佳符号回归基线相匹配或超越，且生成的方程更为简单，具有更好的分布外泛化能力，显示出LLMs在符号回归中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括科学建模、工程设计和数据分析等。通过利用大语言模型的强大能力，ICSR可以在复杂数据集上快速发现有效的数学模型，从而为各类实际问题提供解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

State of the art Symbolic Regression (SR) methods currently build specialized models, while the application of Large Language Models (LLMs) remains largely unexplored. In this work, we introduce the first comprehensive framework that utilizes LLMs for the task of SR. We propose In-Context Symbolic Regression (ICSR), an SR method which iteratively refines a functional form with an LLM and determines its coefficients with an external optimizer. ICSR leverages LLMs' strong mathematical prior both to propose an initial set of possible functions given the observations and to refine them based on their errors. Our findings reveal that LLMs are able to successfully find symbolic equations that fit the given data, matching or outperforming the overall performance of the best SR baselines on four popular benchmarks, while yielding simpler equations with better out of distribution generalization.