Model Discovery Agent: LLM-assisted Bayesian experiment design for data-efficient discovery of mechanistic world models

📄 arXiv: 2608.09696v1 📥 PDF

作者: Kevin Murphy

分类: cs.AI

发布日期: 2026-08-10

💡 一句话要点

提出模型发现代理以解决数据效率低下的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果模型 实验设计 贝叶斯推断 数据效率 大型语言模型 机械世界模型 干预预测 科学研究

📋 核心要点

  1. 现有方法在学习因果模型时面临数据效率低下的问题，尤其是在需要进行多次实验的情况下。
  2. 本文提出的模型发现代理（MDA）结合了大型语言模型与贝叶斯方法，以提高实验设计的效率和有效性。
  3. 在物理、化学和生物学的三个基准测试中，MDA展示了在数据效率模型学习和干预预测能力上的显著提升。

📝 摘要（中文）

预测干预性“如果”问题的答案需要一个机械的因果模型，而学习这样的模型需要实验，因为被动数据无法识别其机制。实验成本高，因此核心问题是数据效率。本文提出模型发现代理（MDA），将大型语言模型（LLM）作为候选结构的提议者，与标准贝叶斯方法结合，利用序列蒙特卡洛（SMC）进行参数和结构后验推断，使用基于仿真的推断（SBI）处理难以计算的似然性，并通过信息价值（VoI）进行实验设计，从少量干预中发现潜在的机械世界模型。MDA在M-open设置下运行，能够扩展假设空间以发现新的模型。实验结果表明，MDA在数据效率模型学习和可靠的干预预测能力方面设定了新的最优状态。

🔬 方法详解

问题定义：本文旨在解决在因果模型学习中数据效率低下的问题。现有方法往往依赖于大量实验数据，导致成本高昂且效率低下。

核心思路：模型发现代理（MDA）通过结合大型语言模型（LLM）和贝叶斯推断方法，提出候选模型并优化实验设计，从而在较少的干预下发现潜在的因果机制。

技术框架：MDA的整体架构包括三个主要模块：1) LLM作为候选结构的提议者；2) 使用序列蒙特卡洛（SMC）进行参数和结构后验推断；3) 基于仿真的推断（SBI）处理复杂的似然性，并通过信息价值（VoI）进行实验设计。

关键创新：MDA的创新在于其在M-open设置下的运行能力，能够在当前假设类之外发现新的模型，并通过设计实验来识别其参数。这种反馈机制使得发现与设计相互促进。

关键设计：MDA的设计包括对LLM的训练和优化，以确保其能够有效提出候选模型，同时在实验设计中采用信息价值（VoI）来选择最具信息量的实验，从而提高数据效率。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在三个基准测试中，MDA在数据效率模型学习和干预预测能力方面设定了新的最优状态，具体表现为在物理、化学和生物学领域的实验中，相较于现有方法，数据需求减少了显著的百分比，且预测准确性有明显提升。

🎯 应用场景

该研究的潜在应用领域包括科学实验设计、药物开发、环境科学等领域，能够帮助研究人员在有限的数据和资源下高效地探索复杂系统的因果关系。未来，MDA有望推动因果推断和模型学习的进一步发展，提升科学研究的效率和准确性。

📄 摘要（原文）

Predicting the answer to interventional ``what if'' questions --- the outcome of an action never taken --- requires a \emph{mechanistic}, causal model, not a curve fit; and learning such a model requires \emph{experiments}, because passive data leaves its mechanisms unidentified. Experiments are expensive, so the central problem is \emph{data efficiency}. We present the Model Discovery Agent (MDA), which couples a large language model (LLM), used as a \emph{proposer} of candidate structures, with standard Bayesian machinery --- sequential Monte Carlo (SMC) for parameter and structure posteriors, simulation-based inference (SBI) for intractable likelihoods, and value-of-information (VoI) for experiment design --- to discover latent mechanistic world models from few interventions. MDA operates in the M-open setting: when the truth lies outside the current hypothesis class, a predictive check flags the inadequacy and the proposer expands the hypothesis space with a new model whose parameters are then identified by designed experiments. We show that \emph{discovery and design reinforce}: the design step identifies the mechanism the discovery step proposes, and the identified mechanism improves predictions, enabling further discoveries from the remaining unexplained residuals. On three different benchmarks --- covering physics (\DPbench, \citep{wiemann2026discoverphysics}), chemistry (\CHEMbench, \citep{kabra2026autoscilab}) and biology (\HHbench, a new partially observed single-neuron electrophysiology benchmark we create) --- we show that MDA sets a new SOTA in terms of data-efficient model learning and reliable interventional forecasting ability.