MOOSE-Star: Unlocking Tractable Training for Scientific Discovery by Breaking the Complexity Barrier

📄 arXiv: 2603.03756v1 📥 PDF

作者: Zonglin Yang, Lidong Bing

分类: cs.LG, cs.CE, cs.CL

发布日期: 2026-03-04

💡 一句话要点

提出MOOSE-Star以解决科学发现中的复杂性训练问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学发现 生成推理 复杂性训练 层次搜索 知识检索 数据集构建 深度学习

📋 核心要点

  1. 现有方法主要集中在推理和反馈驱动的训练，未能直接建模生成推理过程，导致科学发现中的复杂性问题未得到解决。
  2. MOOSE-Star通过分解子任务、动机引导的层次搜索和有界组合等方法，显著降低了训练复杂性，实现了可处理的训练和可扩展的推理。
  3. 实验结果表明，MOOSE-Star在测试时表现出持续的扩展能力，相比于传统的暴力采样方法，克服了复杂性壁垒。

📝 摘要（中文）

尽管大型语言模型在科学发现中展现出潜力，现有研究主要集中在推理或反馈驱动的训练上，直接建模生成推理过程$P(h|b)$尚未得到充分探索。我们证明，直接训练$P(h|b)$因从庞大的知识库中检索和组合灵感的组合复杂性而在数学上是不可处理的。为打破这一障碍，我们提出了MOOSE-Star，一个统一框架，能够实现可处理的训练和可扩展的推理。在最佳情况下，MOOSE-Star将复杂性从指数级降低到对数级。我们还发布了TOMATO-Star，一个包含108,717篇分解论文的数据集，以支持训练。

🔬 方法详解

问题定义：论文要解决的具体问题是如何直接训练生成推理过程$P(h|b)$，而现有方法因组合复杂性而无法有效处理。

核心思路：论文的核心解决思路是通过分解任务和优化检索过程，降低训练复杂性，从而实现可处理的训练。

技术框架：MOOSE-Star框架包括三个主要模块：1) 基于概率方程的子任务分解；2) 动机引导的层次搜索以实现对数级检索；3) 有界组合以增强对检索噪声的鲁棒性。

关键创新：最重要的技术创新点在于将复杂性从指数级降低到对数级，这一设计与现有方法的根本区别在于其有效的任务分解和检索优化策略。

关键设计：关键设计包括对任务的分解策略、损失函数的选择以及网络结构的优化，确保在训练过程中能够有效处理噪声和复杂性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MOOSE-Star在处理复杂性方面表现优异，相比于传统的暴力采样方法，其复杂性从指数级降至对数级，展现出持续的测试扩展能力，显著提高了训练效率和推理效果。

🎯 应用场景

该研究的潜在应用领域包括科学研究、药物发现和材料科学等领域，能够帮助研究人员更高效地从海量数据中提取有价值的信息，推动科学发现的进程。未来，MOOSE-Star可能在其他需要复杂推理的领域中展现出广泛的应用价值。

📄 摘要（原文）

While large language models (LLMs) show promise in scientific discovery, existing research focuses on inference or feedback-driven training, leaving the direct modeling of the generative reasoning process, $P(\text{hypothesis}|\text{background})$ ($P(h|b)$), unexplored. We demonstrate that directly training $P(h|b)$ is mathematically intractable due to the combinatorial complexity ($O(N^k)$) inherent in retrieving and composing inspirations from a vast knowledge base. To break this barrier, we introduce MOOSE-Star, a unified framework enabling tractable training and scalable inference. In the best case, MOOSE-Star reduces complexity from exponential to logarithmic ($O(\log N)$) by (1) training on decomposed subtasks derived from the probabilistic equation of discovery, (2) employing motivation-guided hierarchical search to enable logarithmic retrieval and prune irrelevant subspaces, and (3) utilizing bounded composition for robustness against retrieval noise. To facilitate this, we release TOMATO-Star, a dataset of 108,717 decomposed papers (38,400 GPU hours) for training. Furthermore, we show that while brute-force sampling hits a ''complexity wall,'' MOOSE-Star exhibits continuous test-time scaling.