Interactive Symbolic Regression through Offline Reinforcement Learning: A Co-Design Framework

📄 arXiv: 2402.05306v2 📥 PDF

作者: Yuan Tian, Wenqi Zhou, Michele Viscione, Hao Dong, David Kammer, Olga Fink

分类: cs.LG, cs.AI

发布日期: 2024-02-07 (更新: 2025-02-13)

🔗 代码/项目: GITHUB

💡 一句话要点

提出Symbolic Q-network以解决符号回归中的专家知识整合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 符号回归 强化学习 专家知识 交互设计 数学建模 数据驱动 物理规律发现

📋 核心要点

  1. 现有符号回归方法在处理庞大的表达式组合空间时面临显著挑战，且未能有效整合领域专家的知识。
  2. 本文提出Symbolic Q-network（Sym-Q），通过强化学习框架实现与领域专家的动态交互，优化方程发现过程。
  3. 实验结果显示，Sym-Q在SSDNC基准测试中表现优于现有算法，并在真实案例中通过交互机制实现了更大的性能提升。

📝 摘要（中文）

符号回归（SR）在从观察数据中揭示潜在的数学和物理关系方面具有巨大潜力。然而，可能表达式的组合空间庞大，给在线搜索方法和预训练的变换器模型带来了显著挑战。此外，现有的最先进方法通常未考虑领域专家的先验知识整合，也不支持在方程发现过程中与模型的迭代交互。为了解决这些挑战，本文提出了Symbolic Q-network（Sym-Q），这是一个用于大规模符号回归的先进交互框架。与以往基于变换器的SR方法不同，Sym-Q利用强化学习而不依赖于变换器解码器，从而实现更高效的训练和推理。实验表明，预训练的Sym-Q在具有挑战性的SSDNC基准上超越了现有的SR算法，并且通过交互共设计机制进一步提升了在真实案例中的性能。

🔬 方法详解

问题定义：本文旨在解决符号回归中存在的庞大组合空间和缺乏领域专家知识整合的问题。现有方法在方程发现过程中未能有效支持专家的交互与反馈。

核心思路：论文提出的Sym-Q框架利用强化学习而非传统的变换器解码器，允许通过离线强化学习进行训练，从而提高了效率并支持与专家的动态交互。

技术框架：Sym-Q的整体架构包括一个树编码器和强化学习代理，用户可以在方程生成的各个阶段与模型进行交互，动态修改生成的表达式节点。

关键创新：Sym-Q的主要创新在于其交互式设计，允许领域专家在方程发现过程中参与，显著提高了模型的适应性和准确性。与传统方法相比，Sym-Q在处理复杂问题时更具灵活性。

关键设计：在技术细节上，Sym-Q使用了特定的树编码器结构，结合强化学习的损失函数设计，确保了模型在训练过程中的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，预训练的Sym-Q在SSDNC基准测试中超越了现有的符号回归算法，且在真实案例中通过交互共设计机制实现了显著的性能提升，具体提升幅度超过了20%。

🎯 应用场景

该研究的潜在应用领域包括科学建模、工程设计和数据驱动的物理规律发现等。通过与领域专家的有效互动，Sym-Q能够更好地适应特定问题，提升模型的实际应用价值，推动科学研究和工程实践的发展。

📄 摘要（原文）

Symbolic Regression (SR) holds great potential for uncovering underlying mathematical and physical relationships from observed data. However, the vast combinatorial space of possible expressions poses significant challenges for both online search methods and pre-trained transformer models. Additionally, current state-of-the-art approaches typically do not consider the integration of domain experts' prior knowledge and do not support iterative interactions with the model during the equation discovery process. To address these challenges, we propose the Symbolic Q-network (Sym-Q), an advanced interactive framework for large-scale symbolic regression. Unlike previous large-scale transformer-based SR approaches, Sym-Q leverages reinforcement learning without relying on a transformer-based decoder. This formulation allows the agent to learn through offline reinforcement learning using any type of tree encoder, enabling more efficient training and inference. Furthermore, we propose a co-design mechanism, where the reinforcement learning-based Sym-Q facilitates effective interaction with domain experts at any stage of the equation discovery process. Users can dynamically modify generated nodes of the expression, collaborating with the agent to tailor the mathematical expression to best fit the problem and align with the assumed physical laws, particularly when there is prior partial knowledge of the expected behavior. Our experiments demonstrate that the pre-trained Sym-Q surpasses existing SR algorithms on the challenging SSDNC benchmark. Moreover, we experimentally show on real-world cases that its performance can be further enhanced by the interactive co-design mechanism, with Sym-Q achieving greater performance gains than other state-of-the-art models. Our reproducible code is available at https://github.com/EPFL-IMOS/Sym-Q.