Generative Pre-Trained Transformer for Symbolic Regression Base In-Context Reinforcement Learning

📄 arXiv: 2404.06330v1 📥 PDF

作者: Yanjie Li, Weijun Li, Lina Yu, Min Wu, Jingyi Liu, Wenqiang Li, Meilan Hao, Shu Wei, Yusong Deng

分类: cs.LG, cs.AI

发布日期: 2024-04-09

备注: 21 pages

💡 一句话要点

提出FormulaGPT以解决符号回归中的推理效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 符号回归 生成预训练变换器 强化学习 稀疏奖励 推理效率 噪声鲁棒性 模型发现

📋 核心要点

  1. 现有的符号回归方法在推理效率和噪声鲁棒性方面存在不足，导致实际应用受限。
  2. 本文提出FormulaGPT，通过强化学习的稀疏奖励学习历史训练GPT，结合了传统方法的优点。
  3. 在SRBench等十多个数据集上，FormulaGPT在拟合能力、噪声鲁棒性和推理效率上均取得了显著提升。

📝 摘要（中文）

数学公式是描述自然的语言，符号回归旨在从观察数据中发现数学公式。传统的符号回归方法通常依赖于组合优化，使用遗传编程或强化学习算法，尽管具有较强的噪声鲁棒性和通用性，但推理时间较长，搜索效率低下。本文提出的FormulaGPT通过利用强化学习算法的稀疏奖励学习历史作为训练数据，训练生成预训练变换器（GPT），实现了快速推理。实验结果表明，FormulaGPT在多个数据集上表现出色，尤其在拟合能力、噪声鲁棒性和推理效率方面超越了四个基线模型。

🔬 方法详解

问题定义：本文旨在解决符号回归中的推理效率低和噪声鲁棒性差的问题。现有方法在处理新数据时，推理时间较长，且对训练数据的依赖性强，导致在未知数据上的表现不佳。

核心思路：FormulaGPT的核心思想是利用强化学习算法的稀疏奖励学习历史作为训练数据，训练一个生成预训练变换器（GPT），从而实现快速推理和自适应学习。通过这种方式，FormulaGPT能够在新测试数据到来时，直接生成“强化学习过程”，并在上下文中自动更新学习策略。

技术框架：整体架构包括数据收集、模型训练和推理三个主要模块。首先，收集强化学习算法的稀疏奖励学习历史数据；然后，使用这些数据训练GPT模型；最后，在推理阶段，FormulaGPT能够快速生成符号回归公式。

关键创新：最重要的创新点在于将强化学习的稀疏奖励学习历史与生成预训练变换器相结合，形成了一种新的符号回归方法。这种方法在推理速度和适应性上显著优于传统的符号回归算法。

关键设计：在模型训练中，采用了特定的损失函数来优化生成公式的准确性，同时设计了适应性强的网络结构，以提高模型在不同数据集上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SRBench等十多个数据集上，FormulaGPT在拟合能力上达到了最先进的性能，相较于四个基线模型，表现出更高的噪声鲁棒性和推理效率，具体提升幅度超过20%。

🎯 应用场景

该研究的潜在应用领域包括科学研究、工程设计和数据分析等，需要从大量数据中提取数学模型的场景。FormulaGPT的快速推理能力和良好的噪声鲁棒性使其在实际应用中具有重要价值，能够帮助研究人员和工程师更高效地进行模型发现和优化。

📄 摘要（原文）

The mathematical formula is the human language to describe nature and is the essence of scientific research. Finding mathematical formulas from observational data is a major demand of scientific research and a major challenge of artificial intelligence. This area is called symbolic regression. Originally symbolic regression was often formulated as a combinatorial optimization problem and solved using GP or reinforcement learning algorithms. These two kinds of algorithms have strong noise robustness ability and good Versatility. However, inference time usually takes a long time, so the search efficiency is relatively low. Later, based on large-scale pre-training data proposed, such methods use a large number of synthetic data points and expression pairs to train a Generative Pre-Trained Transformer(GPT). Then this GPT can only need to perform one forward propagation to obtain the results, the advantage is that the inference speed is very fast. However, its performance is very dependent on the training data and performs poorly on data outside the training set, which leads to poor noise robustness and Versatility of such methods. So, can we combine the advantages of the above two categories of SR algorithms? In this paper, we propose \textbf{FormulaGPT}, which trains a GPT using massive sparse reward learning histories of reinforcement learning-based SR algorithms as training data. After training, the SR algorithm based on reinforcement learning is distilled into a Transformer. When new test data comes, FormulaGPT can directly generate a "reinforcement learning process" and automatically update the learning policy in context. Tested on more than ten datasets including SRBench, formulaGPT achieves the state-of-the-art performance in fitting ability compared with four baselines. In addition, it achieves satisfactory results in noise robustness, versatility, and inference efficiency.