Graph-Native Reinforcement Learning Enables Traceable Scientific Hypothesis Generation through Conceptual Recombination
作者: Subhadeep Pal, Shashwat Sourav, Tirthankar Ghosal, Markus J. Buehler
分类: cs.AI, cond-mat.mtrl-sci, cs.CL, cs.LG
发布日期: 2026-07-01
💡 一句话要点
提出Graph-PRefLexOR以解决科学假设生成的可追溯性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图形推理 强化学习 科学假设生成 材料发现 可追溯性 语义多样性 因果推理
📋 核心要点
- 现有的大型语言模型在材料设计问题上生成的答案流畅但缺乏可追溯性，难以验证推理过程的连贯性。
- 提出Graph-PRefLexOR，通过图形原生推理模型和GRPO优化，将推理过程分为多个明确阶段，增强了推理的可追溯性。
- 在100个开放性问题上，Graph-PRefLexOR相比基线模型提升了40-65%的推理可追溯性，且语义多样性显著增加。
📝 摘要（中文）
加速材料发现需要能够通过多步骤、领域基础推理生成科学有效假设的AI系统。标准的大型语言模型通常生成流畅但缺乏可追溯性的响应，使得难以判断最终答案是否由连贯的中间推理支持。本文开发了Graph-PRefLexOR，这是一种图形原生推理模型，通过群体相对策略优化（GRPO）进行微调，以将推理组织为明确的阶段，包括机制探索、图构建、模式提取和假设合成。这种设计将神经语言生成与符号关系结构相结合，使得因果关系能够被构建、检查和重用。在材料科学和力学文献中的100个开放性问题上，Graph-PRefLexOR在推理可追溯性方面实现了40-65%的提升，嵌入分析显示出更广泛的语义探索和约2-3倍的语义多样性。测试时的图扩展显示，额外的计算主要增加了在有限语义空间内的长距离概念重组，而不仅仅是扩展语义覆盖。这些结果确立了图形原生强化学习作为科学假设生成的可解释AI系统的途径。
🔬 方法详解
问题定义：本文旨在解决现有大型语言模型在科学假设生成中的可追溯性不足问题，导致推理过程不透明，难以验证推理的有效性。
核心思路：提出Graph-PRefLexOR模型，通过图形原生推理与群体相对策略优化相结合，组织推理为多个明确阶段，增强因果关系的构建与检查。
技术框架：整体架构包括机制探索、图构建、模式提取和假设合成四个主要阶段，每个阶段都有明确的目标和输出，确保推理过程的清晰性与可追溯性。
关键创新：最重要的创新在于将神经语言生成与符号关系结构相结合，使得推理过程不仅流畅且具备可追溯性，与传统方法相比，能够更好地支持因果推理。
关键设计：在模型设计中，采用了群体相对策略优化作为训练方法，确保模型在推理阶段的表现；同时，嵌入层的设计使得语义空间的探索更加广泛，提升了模型的语义多样性。
🖼️ 关键图片
📊 实验亮点
在实验中，Graph-PRefLexOR在100个开放性问题上实现了40-65%的性能提升，尤其在推理可追溯性方面表现突出。嵌入分析显示其语义多样性是基线模型的2-3倍，进一步验证了模型的有效性和创新性。
🎯 应用场景
该研究的潜在应用领域包括材料科学、化学和其他科学研究领域，能够帮助科学家生成可验证的假设，从而加速材料发现和创新。未来，Graph-PRefLexOR可能在其他需要推理和假设生成的领域中发挥重要作用，推动科学研究的进展。
📄 摘要（原文）
Accelerating materials discovery requires AI systems that can generate scientifically valid hypotheses through multi-step, domain-grounded reasoning. Standard large language models often produce fluent but weakly traceable responses to open-ended materials design problems, making it difficult to determine whether final answers are supported by coherent intermediate reasoning. We develop Graph-PRefLexOR, a family of graph-native reasoning models fine-tuned with Group Relative Policy Optimization (GRPO) to organize reasoning into explicit phases for mechanism exploration, graph construction, pattern extraction, and hypothesis synthesis. This design links neural language generation with symbolic relational structure, enabling causal connections to be constructed, inspected, and reused. On 100 open-ended questions from materials science and mechanics literature, Graph-PRefLexOR achieves 40-65% improvements over corresponding base models, with the largest gains in reasoning traceability. Embedding analyses show broader semantic exploration and approximately 2-3 times greater semantic diversity than baselines. Semantic backtracking and layer-wise hidden-state analyses further show stronger alignment between structured reasoning and final answers. Finally, test-time graph expansion reveals that additional compute primarily increases long-range conceptual recombination within a bounded semantic space, rather than simply expanding semantic coverage. These results establish graph-native reinforcement learning as a pathway toward interpretable AI systems for scientific hypothesis generation in materials design and other scientific applications.