Constructing Executable Analytical Knowledge Representations for Meta-Analysis Synthesis Using an Agentic Harness

📄 arXiv: 2608.01711v1 📥 PDF

作者: Lingbo Li, Anuradha Mathrani, Teo Susnjak

分类: cs.AI

发布日期: 2026-08-03

💡 一句话要点

提出可执行分析知识表示以解决元分析合成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 元分析 知识表示 机器学习 统计执行 自动化分析

📋 核心要点

  1. 现有方法在元分析合成中未能明确表示分析知识，导致执行效率低下。
  2. 论文提出EAKR作为机器可操作的知识表示，旨在将结构化证据转化为可执行的元分析。
  3. 实验结果显示，MetaSynDec在合成结构一致性和参考公式一致性上显著优于直接生成的LLM，提升幅度显著。

📝 摘要（中文）

元分析合成突显了知识驱动科学分析中的基本挑战：结构化证据本身并不代表可执行计算所需的分析知识。在统计执行之前，证据分配、分析对比、结果和时间点对齐、效应大小公式及方法可接受性等决策必须明确。现有自动化方法通常将这些决策嵌入模型输出、生成代码或工作流痕迹中，而不是作为独立可验证的知识表示。我们提出了可执行分析知识表示（EAKR），它是将结构化证据转化为可执行元分析所需知识的机器可操作表示。EAKR表示证据、关系、数值输入、约束、来源和未解决问题。我们在MetaSynDec中实现EAKR，这是一个代理工具，其中大型语言模型提出结构化更新，确定性服务管理基于模式和合同的验证与执行。在58个合成单元中，MetaSynDec构建了所有EAKR，其中57个进入统计执行。

🔬 方法详解

问题定义：本论文旨在解决元分析合成中知识表示不足的问题。现有方法将决策嵌入模型输出，缺乏独立的可验证知识表示，导致分析执行的透明度和效率降低。

核心思路：提出可执行分析知识表示（EAKR），作为将结构化证据转化为可执行元分析的机器可操作表示。EAKR明确表示证据、关系、数值输入等信息，以支持统计执行。

技术框架：整体架构包括MetaSynDec代理工具，利用大型语言模型生成结构化更新，并通过确定性服务进行验证与执行。主要模块包括知识表示、验证服务和统计执行。

关键创新：EAKR的提出是本研究的核心创新，它与现有方法的本质区别在于将分析知识独立表示，增强了可验证性和执行效率。

关键设计：在EAKR的设计中，考虑了证据的来源、约束条件及未解决问题的表示，确保生成的知识表示能够支持复杂的统计分析需求。具体的参数设置和损失函数设计在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MetaSynDec在58个合成单元中成功构建了所有EAKR，其中57个进入统计执行。56个具有足够信息的单元中，38个（67.9%）实现了完整对象保真度，42个（75.0%）达成了精确证据集一致性，平均Jaccard相似度为0.909。生成的置信区间在55个单元中有54个（98.2%）重叠。

🎯 应用场景

该研究的潜在应用领域包括医学研究、社会科学及其他需要进行系统性元分析的领域。通过提供可执行的知识表示，研究者能够更高效地进行数据分析与决策，提升研究的透明度与可重复性，未来可能推动科学研究的自动化进程。

📄 摘要（原文）

Meta-analysis synthesis highlights a fundamental challenge in knowledge-based scientific analysis: structured evidence does not by itself represent the analytical knowledge required for executable computation. Decisions about evidence assignment, analytical contrasts, outcome and time-point alignment, effect-size formulation, and methodological admissibility must be explicit before statistical execution. Existing automated approaches often embed these decisions in model outputs, generated code, or workflow traces rather than representing them as independently verifiable knowledge. We introduce the Executable Analytical Knowledge Representation (EAKR), a machine-actionable representation of the knowledge required to transform structured evidence into executable meta-analysis. An EAKR represents evidence, relations, numerical inputs, constraints, provenance, and unresolved issues. We operationalise EAKR in MetaSynDec, an agentic harness in which large language models propose structured updates and deterministic services govern schema- and contract-based validation and execution. Across 58 synthesis units, MetaSynDec constructed all EAKRs, with 57 proceeding to statistical execution. Of 56 units with sufficient information to define a reference analysis object, 38 (67.9%) achieved complete object fidelity and 42 (75.0%) exact evidence-set agreement, with a mean Jaccard similarity of 0.909. Generated and published confidence intervals overlapped in 54 of 55 units (98.2%). MetaSynDec outperformed direct LLM generation in reference synthesis-structure agreement (57/58 versus 23/58; p<0.001) and among 23 jointly completed units, exact reference-formulation agreement (23/23 versus 1/23; p<0.001). These findings provide feasibility evidence that EAKR supports formal validation, traceability, statistical execution, and improved methodological agreement relative to direct LLM generation.