Prior Audit-Repair Context Shifts LLM Verifier Thresholds Toward Leniency
作者: Parsa Mazaheri, Kasra Mazaheri
分类: cs.AI, cs.CL
发布日期: 2026-08-17
备注: 12 pages, 2 figures, 4 tables. Code and analysis artefacts: https://github.com/parsa-mz/crtitxer
💡 一句话要点
提出审计-修复上下文以降低LLM验证器的阈值
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 自动化检查 语言模型 假警报率 审计-修复 信号检测
📋 核心要点
- 现有的自动化检查流程中，语言模型的连接方式可能影响检查结果，导致假警报率偏高。
- 论文提出通过审计-修复上下文来降低假警报率，探索其对模型判断的影响。
- 实验结果显示，审计-修复过程显著降低了假警报率，验证了该方法的有效性。
📝 摘要（中文）
自动化检查流程中，通常将一个语言模型作为检查者，另一个（或相同的）作为修复者。我们研究这种连接是否会改变检查者的报告。通过对人类验证的ProcessBench轨迹进行测量，发现已完成的审计-修复过程会降低15种模型与措辞组合中的假警报，减少幅度为2.8到11.5个百分点，相较于长度匹配的非审计控制组，减少幅度为9%到25%。这一结果与现有文献的预测相悖，审计报告错误的过程进一步降低假警报。分解审计-修复过程发现，修复内容和审计结果是互补的，不同组件对不同模型家族的影响不同。信号检测分析表明，阈值发生变化而非区分能力，且在50个假警报的人工审核中发现82%是错误的，因此在此操作点的变化不一定有害。
🔬 方法详解
问题定义：论文要解决的问题是自动化检查流程中，语言模型作为检查者时可能产生的高假警报率。现有方法未能有效降低这一问题，导致模型判断不准确。
核心思路：论文的核心思路是利用审计-修复上下文来影响模型的判断，降低假警报率。通过将审计和修复过程结合，模型能够更好地理解上下文，从而提高判断的准确性。
技术框架：整体架构包括审计-修复过程的设计，主要模块包括审计模型、修复模型和假警报检测模块。通过对比不同模型和措辞组合，评估其在假警报率上的表现。
关键创新：最重要的技术创新点在于发现审计-修复上下文能够显著降低假警报率，这一发现与现有文献的预测相悖，提供了新的视角。
关键设计：在实验中，采用了不同的措辞组合和模型配置，重点关注模型的阈值变化和假警报的检测，确保实验结果的可靠性与有效性。通过信号检测分析，进一步验证了模型判断的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，审计-修复过程在15种模型与措辞组合中均降低了假警报率，减少幅度为2.8到11.5个百分点，相较于非审计控制组，假警报率减少幅度为9%到25%。这一结果表明，审计-修复上下文的引入显著提升了模型的判断准确性。
🎯 应用场景
该研究的潜在应用领域包括自动化质量检查、软件测试和智能客服等场景。通过降低假警报率，可以提高系统的可靠性和用户体验，未来可能在更广泛的自动化决策系统中发挥重要作用。
📄 摘要（原文）
Automated checking pipelines increasingly place one language model as the checker and another (or the same one) as the fixer. We ask whether that wiring changes what the checker reports. Measuring false alarms on human-verified-correct ProcessBench traces with the present task held byte-identical, we find that a completed audit -> repair episode already in the model's context lowers false alarms in 15 of 15 model x wording combinations, by 2.8 to 11.5 percentage points against a length-matched non-audit control, a 9 to 25% reduction relative to that control. The direction contradicts what the accumulated-message literature predicts: an episode whose audit reported an error lowers false alarms further still, at all five wordings on the model where that manipulation lands cleanly, though a negativity asymmetry predicts more flagging. Decomposing the episode finds repair content and audit verdict complementary: different components carry the effect on different model families. Signal-detection analysis locates the change in the threshold rather than in discrimination -- the criterion moves in 15 of 15 combinations and survives correction in 13 while d' survives in none, though the d' test is half as sensitive by construction -- and a hand audit of 50 false alarms finds 82% simply wrong, so at this operating point the shift need not be harmful. With reasoning enabled the effect keeps its relative size on both models tested, and the threshold reading holds there too.