Verifier strength does not buy discovery quality: a pre-registered two-domain test of LLM-based automated research, with post-hoc evidence pointing to proposer-pool composition
作者: Peter Chen, Ni Zhang, Siyuan Zhang
分类: cs.AI, cs.SE
发布日期: 2026-11-03
备注: 12 pages, 1 figure. Pre-registered two-domain test (100 matched pairs/domain, 3 verifier tiers, 429-case mutation battery). Artifact archive: https://doi.org/10.5281/zenodo.23308866
💡 一句话要点
提出基于LLM的自动化研究方法以优化发现质量
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 自动化研究 LLM 验证强度 提议者池 发现质量 实验设计 统计分析
📋 核心要点
- 现有的自动化研究方法假设验证强度越高，发现质量越好，但缺乏实证支持。
- 本研究通过预注册实验，系统性地检验了LLM提议者与验证者的组合效果，提出了扩大提议者池的策略。
- 实验结果表明，扩大提议者池的多样性显著提升了发现质量，而验证强度的提升未能带来相应的效果。
📝 摘要（中文）
本研究探讨了自动化研究管道中，LLM提议者与验证者之间的关系，检验了验证强度是否能提升发现质量。通过在工作车间调度和北京T-Drive轨迹的车辆边缘卸载两个真实数据领域进行的预注册实验，结果显示尽管验证强度的提升伴随了一定的得分提升，但LLM与随机对照组的优势并未随之扩大。相反，扩大提议者池的多样性被证明是提升发现质量的更有效途径，混合两个池的组合在领域A中增加了+1.52的持留价值单位，表明池的组成比验证强度更为关键。
🔬 方法详解
问题定义：本研究旨在解决现有自动化研究管道中，验证强度与发现质量之间的关系，现有方法未能有效证明验证强度的提升能带来发现质量的提高。
核心思路：通过在两个真实数据领域进行预注册实验，验证LLM提议者与不同验证者组合的效果，探索提议者池的组成对发现质量的影响。
技术框架：研究设计包括三个主要阶段：首先是数据收集与预处理，其次是LLM提议者与验证者的组合实验，最后是结果分析与池组合的后续分析。
关键创新：本研究的创新在于提出了通过扩大提议者池而非单纯提高验证强度来提升发现质量的观点，挑战了传统的假设。
关键设计：实验中使用了429个案例的突变电池，设置了三个不同的验证者层级，并通过Wilcoxon检验等统计方法分析结果，确保了实验的严谨性与可靠性。
📊 实验亮点
实验结果显示，在领域A中，通过混合提议者池的方式，持留价值单位增加了+1.52，且统计显著性达到p=0.0002。这表明，扩大提议者池的多样性比单纯提高验证强度更能有效提升发现质量。
🎯 应用场景
该研究的结果对自动化研究领域具有重要的应用价值，尤其是在需要高质量发现的场景中，如工业调度、智能交通等。通过优化提议者池的组成，能够有效提升研究效率与成果质量，未来可能推动更多领域的自动化研究进展。
📄 摘要（原文）
Automated research pipelines pair an LLM proposer with a verifier on an implicit bet: discovery quality rises with verification strength. Under a pre-registered protocol we test this bet in two real-data domains -- job-shop scheduling and vehicular edge offloading on Beijing T-Drive trajectories -- across 100 matched LLM/random pairs per domain and three verifier tiers. The manipulation binds -- a 429-case mutation battery shows scores rising across tiers -- yet the paired LLM-over-random advantage does not scale with it (A, one-sided p=0.1115; D, p=0.9994), and in D shrinks under the strict tier (margin contrast -0.040, p=0.0013). The two lower gates promote identical candidates in 100/100 and 99/100 pairs, so the strict order is untestable when they coincide. Constructively, LLM proposals carry a real paired advantage over random controls, but a post-hoc union-pool analysis shows the fastest path to better discovery is widening the pool, not tightening the gate: mixing the two pools adds +1.52 holdout-value units in domain A (one-sided Wilcoxon, n=100, p=0.0002) -- evidence that pool composition, not verification strength, is the lever. Criteria, ledgers and scripts are archived on Zenodo (DOI: 10.5281/zenodo.23308866).