Provenance Before Prose: Claim-Locked Reporting

📄 arXiv: 2608.25336v1 📥 PDF

作者: Xiao Fan, Jingyuan Li, Hongbin Guo, Yubo Han, Yi Zhang

分类: cs.CL

发布日期: 2026-08-26

💡 一句话要点

提出Claim-Locked Reporting以解决统计报告的可重复性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 统计报告 可重复性 大型语言模型 Claim-Locked Reporting fMRI 随机对照试验 文本生成 科学研究

📋 核心要点

  1. 现有方法在生成统计报告时，可能导致数值不一致和效应方向错误，影响报告的可信度。
  2. 本文提出Claim-Locked Reporting协议，通过在生成文本之前固定证据源、数字和声明的方向，确保报告的准确性。
  3. 实验结果表明，Claim-Locked Reporting在fMRI和随机对照试验中的可重复性显著提高，且在生成效率上表现优异。

📝 摘要（中文）

大型语言模型（LLMs）能够流畅地表达统计证据，但在生成统计报告时，仍可能出现数值漂移、效应方向反转或将阈值对比重述为分类效应等问题。本文将这些失败视为控制问题，提出了一种名为Claim-Locked Reporting的协议，确保在生成文本之前，报告中可见的数字和声明是固定的。通过在fMRI功能连接性报告和随机对照试验报告中的应用，Claim-Locked Reporting在可重复性方面分别提高了37.4和20.5个百分点，且人类审计结果支持方向保持和治理趋势的观察。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成统计报告时可能出现的数值漂移和效应方向反转等问题。现有方法在文本或槽位级别的控制不足，导致可见数字的重复性较低。

核心思路：提出Claim-Locked Reporting协议，确保在生成文本之前，报告中的证据源、数字和声明的方向是固定的，从而提高报告的准确性和可重复性。

技术框架：该方法包括几个主要模块：首先，固定统计结果的结构化数据；其次，使用确定性混合模板生成文本；最后，LLM仅负责连接性文本的生成。

关键创新：Claim-Locked Reporting的核心创新在于在生成文本之前锁定所有报告相关的证据和声明，确保生成的内容与统计结果一致。这与现有方法的本质区别在于，后者通常在生成过程中选择性地引用数据。

关键设计：在实现过程中，关键参数包括固定的统计结果和允许的语言强度，确保生成的文本在内容和方向上与原始数据一致。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，Claim-Locked Reporting在fMRI功能连接性报告中提高了37.4个百分点，在随机对照试验报告中提高了20.5个百分点。此外，该方法在生成过程中表现出最低的令牌使用率和中位生成延迟，显示出优越的效率。

🎯 应用场景

该研究的潜在应用领域包括医学研究、社会科学和任何依赖于统计报告的领域。通过提高报告的可重复性和准确性，Claim-Locked Reporting能够增强研究结果的可信度，促进科学交流和决策制定。

📄 摘要（原文）

Large language models (LLMs) can fluently verbalize statistical evidence, yet statistical reports can still drift numerical values, invert effect directions, or restate thresholded contrasts as categorical effects. We frame these failures as a control problem: the evidence-bearing content of a scientific report should be fixed by structured statistical results rather than sampled during prose generation. We therefore use cross-run reproducibility to stress-test whether report-visible numbers and claims are bound before prose generation. Existing controls operate at the text or slot level; a deterministic hybrid template reproduces only 61.1% of report-visible numerical content across seeds because the LLM still selects which findings and numbers the template renders. We propose claim-locked reporting, a provenance-before-prose protocol that fixes the evidence source, numbers, direction, and allowed language strength of each reportable claim before the LLM writes only connective prose. Across fMRI functional-connectivity reporting and randomized controlled trial reporting on Evidence Inference 2.0, claim-locked reporting improves reproducibility over the hybrid template by 37.4 and 20.5 points, respectively. Blinded human audits support the observed direction-preservation and governance trends. In an fMRI cost analysis with DeepSeek, claim-locked reporting also yields the lowest observed token use and median generation latency.