CDRL: Certification-Driven Reinforcement Learning for Neutrino Flavor Model Discovery

📄 arXiv: 2608.20686v1 📥 PDF

作者: Piyush Jha, Jake Rudolph, Victoria Knapp-Pérez, Max Fieg, Aishik Ghosh, Vijay Ganesh

分类: cs.AI, cs.LG, cs.LO, hep-ph

发布日期: 2026-08-21

💡 一句话要点

提出认证驱动强化学习以解决中微子味模型发现问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 中微子模型 符号推理 科学发现 组合搜索 模型优化

📋 核心要点

  1. 现有的强化学习方法依赖于标量奖励，无法有效解释失败原因，导致无效区域的重复探索。
  2. CDRL框架利用符号推理工具的结构化反馈，将失败证书转化为可重用约束，引导有效区域的探索。
  3. 实验结果显示，CDRL在有效模型率和中微子模型率上显著提升，同时减少了候选评估数量。

📝 摘要（中文）

许多科学发现问题需要在复杂的领域约束下搜索组合假设空间。强化学习（RL）提供了一种有前景的方法，但现有方法依赖于标量奖励，无法有效解释候选解失败的原因，导致代理反复探索无效区域。我们提出了认证驱动强化学习（CDRL），该框架利用符号推理工具提供的结构化反馈。当候选解违反领域约束时，这些工具会生成证书，识别导致失败的动作。CDRL将这些证书转化为可重用的约束，从而消除无效解的类别，并引导探索有效区域。我们在理论粒子物理学中的中微子味模型发现上评估CDRL，假设空间超过$10^{26}$个可能模型，并与之前用于此任务的最先进RL方法进行比较。在三个理论空间中，CDRL的有效模型率提高了最高1.95倍，中微子模型率提高了最高6.33倍，同时评估的候选数量减少了最高4倍。

🔬 方法详解

问题定义：本论文旨在解决中微子味模型发现中的组合假设空间搜索问题。现有方法由于依赖标量奖励，导致无法有效识别和避免无效解的探索。

核心思路：CDRL通过引入符号推理工具的结构化反馈，利用生成的证书识别失败原因，并将其转化为可重用的约束，从而优化探索过程。

技术框架：CDRL的整体架构包括候选解生成、证书生成与分析、约束转化与应用、以及有效解的评估与选择等主要模块。

关键创新：CDRL的核心创新在于将符号推理工具的反馈机制与强化学习相结合，形成了一种新的探索策略，显著提高了模型发现的效率和有效性。

关键设计：在设计中，CDRL使用了特定的损失函数来优化约束的应用，并通过决策树框架提取可解释规则，以进一步提升模型发现的成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CDRL在三个理论空间中有效模型率提高了最高1.95倍，中微子模型率提高了最高6.33倍，同时评估的候选数量减少了最高4倍。此外，通过后处理决策树框架提取的40条可解释规则，进一步提升了模型发现的成功率，验证了CDRL的有效性。

🎯 应用场景

该研究在理论粒子物理学中具有重要应用潜力，尤其是在中微子味模型的发现上。通过优化组合搜索过程，CDRL能够加速科学模型的发现，为基础科学研究提供新的工具和方法，未来可能在其他科学领域中推广应用。

📄 摘要（原文）

Many scientific discovery problems require searching combinatorial hypothesis spaces under complex domain constraints. Reinforcement learning (RL) offers a promising approach, but existing methods rely on scalar rewards that provide limited information about why candidate solutions fail, leading agents to repeatedly explore invalid regions. We introduce Certification-Driven Reinforcement Learning (CDRL), a framework that leverages structured feedback from symbolic reasoning tools. When a candidate violates domain constraints, these tools produce certificates identifying the actions responsible for failure. CDRL converts these certificates into reusable constraints that eliminate classes of invalid solutions and guide exploration toward valid regions. We evaluate CDRL on neutrino flavor model discovery in theoretical particle physics, where the hypothesis space exceeds $10^{26}$ possible models, and compare it with the state-of-the-art RL approach previously used for this task. Across three theory spaces, CDRL achieves up to 1.95$\times$ higher valid model rates and up to 6.33$\times$ higher neutrino model rates while evaluating up to 4$\times$ fewer candidates. We further extract 40 interpretable rules from search trajectories using a post-hoc decision-tree framework and show that reusing them as soft constraints yields gains of up to 2$\times$ in valid model rates and 3$\times$ in neutrino model discovery across all three theory spaces. These results suggest that CDRL uncovers reusable structure in combinatorial search spaces and provides a general framework for scientific model discovery.