Mitigating LLM-based p-Hacking by Preregistering for the Next LLM

📄 arXiv: 2606.27687v1 📥 PDF

作者: Maria Thomas, Kristina Gligoric, Nihar B. Shah

分类: cs.CL, cs.AI, cs.DL

发布日期: 2026-06-26

💡 一句话要点

提出预注册协议以解决LLM研究中的p-hacking问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 p-hacking 预注册 实验设计 数据分析 研究透明度

📋 核心要点

  1. 现有的LLM研究方法容易受到p-hacking的影响，研究者可以通过调整参数来操控结果。
  2. 论文提出通过预注册实验和模型，确保在首次发布的合格LLM上进行分析，从而防止p-hacking。
  3. 在两项已知真实值的任务中，该协议成功阻止了73.9%和72.7%的p-hacking转移，验证了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）在生成、分类和注释数据方面的应用日益增加，这些数据的输出用于下游假设检验。然而，基于LLM的研究容易受到p-hacking的影响，研究者可以通过调整提示、解码参数或输出格式来达到期望结果。为此，本文提出了一种协议，通过预注册实验和合格模型，随后在预注册后首次发布的合格LLM上运行实验，从而减轻p-hacking的影响。研究表明，该协议在两项任务中有效阻止了73.9%和72.7%的p-hacking成功转移，并在多项压力测试下保持了显著的减轻效果。最后，作者遵循自己的协议进行了预注册实验，结果证实了该协议的有效性。

🔬 方法详解

问题定义：本文旨在解决LLM研究中的p-hacking问题，现有方法允许研究者通过调整提示和参数来操控结果，导致研究结果的不可靠性。

核心思路：论文提出的核心思路是通过预注册实验和合格模型，确保在实验承诺时不存在的模型上进行分析，从而避免p-hacking的可能性。

技术框架：整体流程包括研究者在当前模型上确定实验程序，预注册分析计划及未来合格模型，随后在首次发布的合格模型上进行确认性分析。

关键创新：最重要的创新点在于通过预注册确保分析在不存在的模型上进行，从而有效阻止了p-hacking的转移，这与现有方法的灵活性形成鲜明对比。

关键设计：在实验中，研究者使用了20个来自四个提供商的模型和11种LLM分析配置，确保了实验的多样性和结果的可靠性。

📊 实验亮点

实验结果显示，该协议在两项任务中成功阻止了73.9%和72.7%的p-hacking转移。此外，作者遵循自己的协议进行的预注册实验中，7种配置中有6种未能在首次发布的合格模型上成功转移，验证了协议的有效性。

🎯 应用场景

该研究的潜在应用领域包括社会科学、心理学和其他依赖于LLM进行数据分析的领域。通过减少p-hacking的风险，研究者可以获得更可靠的结果，从而推动科学研究的进展。未来，该协议可能会成为LLM研究的标准实践，提升研究的透明度和可重复性。

📄 摘要（原文）

Large language models (LLMs) are increasingly used to generate, classify, and annotate data whose outputs feed downstream hypothesis tests. However, LLM-based research is easy to p-hack: a researcher can tune the prompts, decoding parameters, or output format until a desired result is reached. We propose a protocol to mitigate p-hacking in LLM-based research: preregistering the experiment and eligible models, and then running it on the first eligible LLM that is released after the preregistration. The researcher finalizes the procedure on current models, preregisters the analysis plan together with a set of eligible future models, and runs the confirmatory analysis on the first eligible model released afterward. Because this model does not exist at commitment time, it cannot be hacked against; furthermore, configurations that hack one model frequently do not transfer to the next. We evaluate the protocol on two tasks whose true values are known. Across 20 models from four providers and 11 LLM-analysis configurations, the protocol would have blocked successful transfer of the p-hack in 73.9% and 72.7% of cases in the two tasks. Additional analyses reveal that mitigation remains substantial under several stress tests. Finally, putting money where our mouth is, we followed our own protocol and preregistered our experiment. The preregistered experiment confirmed the protocol's effectiveness: out of the 7 configurations that hacked the prior model, the hacking failed to carry over in 6 configurations on the first eligible model released afterward.