Automated reproducibility assessments in the social and behavioral sciences using large language models

📄 arXiv: 2606.13670v1 📥 PDF

作者: Tobias Holtdirk, Pietro Marcolongo, Anna Steinberg Schulten, Felix Henninger, Stefan Rose, Sarah Ball, Bolei Ma, Frauke Kreuter, Markus Weinmann, Stefan Feuerriegel

分类: cs.AI

发布日期: 2026-06-11

💡 一句话要点

利用大型语言模型自动化社会与行为科学的可重复性评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 可重复性评估 社会科学 行为科学 自动化分析

📋 核心要点

  1. 现有的可重复性评估方法依赖独立研究者进行数据重新分析，资源消耗大且难以扩展。
  2. 本文提出利用大型语言模型（LLMs）自动化可重复性评估，旨在提高效率和可扩展性。
  3. 实验结果表明，LLM在41%的研究中成功恢复效应大小，且96%的案例得出与原始研究相同的结论，优于人工分析。

📝 摘要（中文）

社会与行为科学中的可重复性通常由独立研究者通过重新分析原始数据来评估已发布的发现。然而，这种方法资源密集且难以扩展。本文展示了大型语言模型（LLMs）能够自动化可重复性评估。通过对76项已发布研究的分析，LLM生成的结果与原始发现和人工重新分析进行了比较。结果显示，LLM在41%的研究中成功恢复了原始效应大小，并在96%的案例中得出了与原始研究相同的定性结论。相比之下，人工重新分析者在34%的研究中恢复了原始效应大小，并在74%的案例中达成相同结论。这些结果表明，LLMs可以作为可扩展的自动化可重复性评估工具，为社会与行为科学的实证结果系统审计奠定基础。

🔬 方法详解

问题定义：本文旨在解决社会与行为科学中可重复性评估的资源密集和难以扩展的问题。现有方法依赖人工重新分析，效率低下。

核心思路：通过利用大型语言模型（LLMs）自动化分析过程，减少人力需求，提高可重复性评估的效率和准确性。

技术框架：整体架构包括数据输入、LLM分析、结果输出和与原始研究结果的比较。主要模块包括数据预处理、模型推理和结果验证。

关键创新：最重要的技术创新在于将LLMs应用于可重复性评估领域，显著提高了分析的自动化程度和效率，与传统方法相比具有本质区别。

关键设计：在模型训练中，使用了特定的损失函数以优化效应大小的估计，并对模型参数进行了细致调整，以确保分析结果的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLM在41%的研究中成功恢复了原始效应大小，且在96%的案例中得出与原始研究相同的定性结论，显著优于人工重新分析者的34%和74%的恢复率和一致性。

🎯 应用场景

该研究的潜在应用领域包括社会科学、心理学和行为经济学等，能够为研究者提供高效的工具以验证和审计实证结果。未来，LLMs的应用可能会推动科学研究的透明度和可靠性，促进更广泛的研究合作与数据共享。

📄 摘要（原文）

Reproducibility in the social and behavioral sciences is typically evaluated by independent researchers who reanalyze the original data to assess whether the published findings can be recovered. However, such approaches are resource-intensive and difficult to scale. Here, we show that large language models (LLMs) can automate reproducibility assessments. Using N=76 published studies with predefined claims from the behavioral and social sciences, we compare LLM-generated analysis with the original findings and human reanalysis. For 7 studies, the LLM could not produce a viable effect size estimate. For the remaining studies, our LLM pipeline recovered the original effect sizes in 41% of studies using a +/-0.05 tolerance in Cohen's d. Further, our LLM pipeline reached the same qualitative conclusion as the original study in 96% of cases, where conclusions indicate whether the reanalysis supports the original claim. For comparison, human reanalysts recovered the original effect sizes in 34% of studies and reached the same qualitative conclusion in 74% of cases. Together, these results show that LLMs can serve as a scalable tool for automated reproducibility assessment and provide a foundation for systematic auditing of empirical results in the social and behavioral sciences.