InsightSR: Refining Symbolic Regression Search Spaces via Parallel Semantic and Structural LLM Guidance

📄 arXiv: 2608.25291v1 📥 PDF

作者: Yating Ling, Wenjing Cun, Zhitang Chen

分类: cs.LG, cs.AI

发布日期: 2026-08-26

💡 一句话要点

提出InsightSR以优化符号回归搜索空间

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 符号回归 大型语言模型 遗传编程 特征变换 数据分析 科学建模 机器学习

📋 核心要点

  1. 现有的符号回归方法在面对物理意义表达的组合搜索空间时，常常难以有效探索和发现简约的数学规律。
  2. InsightSR框架通过嵌入大型语言模型，利用语义种子路径和结构特征路径逐步转化搜索空间，优化符号回归过程。
  3. 在多个基准测试中，InsightSR实现了95%的精确恢复率和80.18%的准确率，显著提升了符号回归的性能和泛化能力。

📝 摘要（中文）

符号回归(SR)旨在从观测数据中发现简约的数学规律，但传统方法在物理意义表达的广泛组合搜索空间中常常面临挑战。本文提出InsightSR框架，将大型语言模型(LLMs)嵌入PySR遗传编程引擎的指导层。InsightSR通过语义种子路径和结构特征路径逐步转化搜索空间，前者提出一致的功能骨架，后者推荐非线性特征变换。这些变换在迭代中累积，推动符号搜索从构建深层表达树转向在丰富的语义特征集上组装浅层树。生成后的反馈循环评估候选者，按经验效用对特征进行分类，并为下一次迭代优化指导。实验结果显示，InsightSR在Feynman基准测试中实现了95%的精确恢复率，在LLM-SRBench LSR-Transform任务中达到80.18%的准确率，显著优于现有的遗传编程和神经符号方法，同时在真实世界数据集上保持强大的分布外泛化能力。

🔬 方法详解

问题定义：本文解决符号回归中传统方法在广泛组合搜索空间中的探索困难，尤其是在寻找物理意义表达时的挑战。

核心思路：InsightSR通过将大型语言模型作为指导层，逐步转化搜索空间，采用语义种子路径和结构特征路径来优化符号回归过程。这样的设计旨在通过引导特征变换来提高搜索效率和结果质量。

技术框架：InsightSR的整体架构包括两个主要模块：语义种子路径和结构特征路径。前者负责生成功能骨架，后者则推荐非线性特征变换。整个过程通过迭代反馈循环不断优化，评估候选表达式的有效性。

关键创新：InsightSR的核心创新在于将大型语言模型用于搜索空间的转化，而非直接生成表达式。这种方法使得符号回归从深层表达树的构建转向在丰富特征集上的浅层树组装，显著提高了搜索效率。

关键设计：在设计中，InsightSR设置了多层次的特征变换机制，并通过反馈循环不断调整特征的选择和变换策略，以确保每次迭代都能朝着更优的方向前进。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，InsightSR在Feynman基准测试中实现了95%的精确恢复率，并在LLM-SRBench LSR-Transform任务中达到80.18%的准确率。这些结果显著优于现有的遗传编程和神经符号方法，展示了其在符号回归领域的强大性能和良好的泛化能力。

🎯 应用场景

InsightSR的研究成果在科学建模、工程设计和数据分析等领域具有广泛的应用潜力。通过优化符号回归过程，该框架能够帮助研究人员更高效地从复杂数据中提取有意义的数学关系，推动科学发现和技术创新。

📄 摘要（原文）

Symbolic regression (SR) seeks to discover parsimonious mathematical laws from observational data, yet conventional approaches often struggle with the vast combinatorial search space of physically meaningful expressions. We present InsightSR, a framework that embeds Large Language Models (LLMs) as a guiding layer around the PySR genetic programming engine. Rather than relying on LLMs to generate expressions directly, InsightSR uses LLMs to progressively transform the search space itself through two complementary pathways: a Semantic Seed Pathway that proposes dimensionally consistent functional skeletons, and a Structural Feature Pathway that recommends nonlinear feature transformations. These transformations accumulate over iterations, broadening the input space and shifting the symbolic search from constructing deep expression trees over raw variables to assembling shallow trees over a rich, semantically informed feature set. A post-generation feedback loop evaluates candidates, categorizes features by their empirical utility, and refines the guidance for the next iteration, transforming the discovery process from open-ended generation into iterative, self-correcting refinement. Across three benchmarks, InsightSR achieves a 95% exact recovery rate on the Feynman benchmark and 80.18% accuracy on the LLM-SRBench LSR-Transform task, substantially outperforming state-of-the-art genetic programming and neural-symbolic methods while maintaining strong out-of-distribution generalization on real-world datasets.