Automated reproducibility assessments in the social and behavioral sciences using large language models
作者: Tobias Holtdirk, Pietro Marcolongo, Anna Steinberg Schulten, Felix Henninger, Stefan Rose, Sarah Ball, Bolei Ma, Frauke Kreuter, Markus Weinmann, Stefan Feuerriegel
分类: cs.AI
发布日期: 2026-06-12
💡 一句话要点
利用大型语言模型自动化社会与行为科学的可重复性评估
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 可重复性评估 社会科学 行为科学 自动化分析 数据审计 效应大小估计
📋 核心要点
- 现有的可重复性评估方法依赖于独立研究者的人工重新分析，资源消耗大且难以扩展。
- 本文提出利用大型语言模型（LLMs）自动化可重复性评估，显著提高效率和准确性。
- 实验结果显示，LLM在41%的研究中成功恢复效应大小，且96%的定性结论与原研究一致，优于人类分析者的表现。
📝 摘要（中文）
社会与行为科学中的可重复性通常由独立研究者通过重新分析原始数据来评估。然而，这种方法资源密集且难以扩展。本文展示了大型语言模型（LLMs）能够自动化可重复性评估。通过对76项已发表研究的分析，LLM在41%的研究中成功恢复了原始效应大小，并在96%的案例中得出了与原研究相同的定性结论。相比之下，人类重新分析者在34%的研究中恢复了原始效应大小，74%的案例达成相同结论。这些结果表明，LLMs可以作为可扩展的自动化可重复性评估工具，为社会与行为科学中的实证结果系统审计奠定基础。
🔬 方法详解
问题定义：本文旨在解决社会与行为科学中可重复性评估的高成本和低效率问题。现有方法依赖人工重新分析，难以大规模应用。
核心思路：通过利用大型语言模型（LLMs）自动化数据分析过程，减少人力需求并提高评估的可扩展性和一致性。
技术框架：研究设计了一个LLM管道，首先输入已发表研究的声明和数据，然后模型生成分析结果，最后与原始研究结果进行比较。
关键创新：最大的技术创新在于将LLMs应用于可重复性评估领域，显著提高了分析的效率和准确性，尤其是在定性结论的一致性方面。
关键设计：在模型训练中，设置了特定的参数以优化效应大小的估计，并使用了Cohen's d作为评估标准，确保了结果的可靠性。模型的损失函数设计也考虑了定性结论的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LLM在41%的研究中成功恢复了原始效应大小，而人类分析者仅为34%。此外，LLM在96%的案例中得出了与原研究相同的定性结论，明显优于人类分析者的74%。
🎯 应用场景
该研究的潜在应用领域包括社会科学、心理学及其他行为科学领域，能够为研究者提供高效的可重复性评估工具，提升研究结果的可信度和透明度。未来，LLMs的应用可能推动更广泛的实证研究审计和验证工作，促进科学研究的整体质量提升。
📄 摘要（原文）
Reproducibility in the social and behavioral sciences is typically evaluated by independent researchers who reanalyze the original data to assess whether the published findings can be recovered. However, such approaches are resource-intensive and difficult to scale. Here, we show that large language models (LLMs) can automate reproducibility assessments. Using N=76 published studies with predefined claims from the behavioral and social sciences, we compare LLM-generated analysis with the original findings and human reanalysis. For 7 studies, the LLM could not produce a viable effect size estimate. For the remaining studies, our LLM pipeline recovered the original effect sizes in 41% of studies using a +/-0.05 tolerance in Cohen's d. Further, our LLM pipeline reached the same qualitative conclusion as the original study in 96% of cases, where conclusions indicate whether the reanalysis supports the original claim. For comparison, human reanalysts recovered the original effect sizes in 34% of studies and reached the same qualitative conclusion in 74% of cases. Together, these results show that LLMs can serve as a scalable tool for automated reproducibility assessment and provide a foundation for systematic auditing of empirical results in the social and behavioral sciences.