Quantifying Claim Smoothing by LLM Research Agents

📄 arXiv: 2610.35793v1 📥 PDF

作者: Tiasa Singha Roy, Manya Wadhwa, Greg Durrett

分类: cs.CL

发布日期: 2026-10-26

备注: Code and data present at: https://github.com/tiasa2/SmoothScore

💡 一句话要点

提出SmoothScore以量化LLM研究代理的主张平滑问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 主张平滑 信息综合 可信度评估 自动化研究

📋 核心要点

  1. 现有的LLM生成的研究报告常常表现出自信的综合能力，但实际上未能准确反映文献的多样性和复杂性。
  2. 论文提出SmoothScore评分管道，通过提取主张、聚类证据并评分，量化LLM在生成报告时的平滑效应。
  3. 实验结果表明，在多个系统和数据集上，LLM生成的主张普遍超出文献支持的范围，显示出明显的平滑现象。

📝 摘要（中文）

深度研究，即利用大型语言模型（LLMs）阅读大量文档并生成见解，要求从不同来源综合信息。本研究发现，LLMs生成的长篇研究报告虽然看似自信的综合，但未能准确反映基础文档。我们称这种失败为平滑。在将多样且可能冲突的来源压缩为单一叙述时，模型丢弃了其语料库的证据“锯齿状”，并断言的结论超出了引用所能支持的范围。我们引入了一个主张级评分管道SmoothScore，以量化这一效应。该管道从模型生成的报告中提取关键结论性主张，然后找到与每个主张相关的证据，并沿高层次方面对这些证据进行聚类。最后，根据证据对每个主张进行评分，以量化代理所做的平滑程度。在7个系统和4个数据集上，我们发现代理始终生成比所需更强的主张。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在生成研究报告时，未能准确反映文献多样性的问题。现有方法在整合信息时，往往忽视了证据的复杂性和冲突性，导致生成的结论过于自信。

核心思路：论文的核心思路是通过SmoothScore评分管道，量化LLM生成报告中的主张平滑现象。通过提取主张并评估其支持证据，能够更准确地反映模型生成内容的可靠性。

技术框架：SmoothScore的整体架构包括三个主要模块：1) 提取关键主张；2) 收集与主张相关的证据并进行聚类；3) 根据证据对主张进行评分。每个模块相互关联，共同实现对平滑效应的量化。

关键创新：最重要的技术创新点在于引入了主张级评分机制，能够定量评估LLM生成内容的可信度。这一方法与传统的定性分析方法本质上不同，提供了更为客观的评估标准。

关键设计：在设计上，SmoothScore采用了特定的聚类算法来处理证据，并设计了相应的评分标准，以确保评分的准确性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在7个不同的系统和4个数据集上，LLM生成的主张普遍比文献所能支持的更强，表明平滑现象的普遍性和严重性。这一发现为后续研究提供了重要的参考依据。

🎯 应用场景

该研究的潜在应用领域包括学术研究、信息检索和自动化内容生成等。通过量化LLM生成报告的可信度，研究者可以更好地理解和利用这些模型，提升信息的准确性和可靠性，进而推动相关领域的发展。

📄 摘要（原文）

Deep research, or any use of large language models (LLMs) to read a large document collection and produce insights, requires synthesizing information from different sources. In this work, we find that LLMs produce long-form research reports that read as confident syntheses but which fail to accurately reflect the underlying documents. We call this failure smoothing. In collapsing diverse and potentially conflicting sources into a single narrative, the model discards the evidential "jaggedness" of its corpus and asserts conclusions more decisive than the citations can support. We introduce a claim level scoring pipeline, SmoothScore, to quantify this effect. Our pipeline extracts key conclusive claims from model generated reports, then finds evidence relevant to each claim and clusters that evidence along high level aspects. Finally, each claim is scored with respect to the evidence to quantify the degree of smoothing done by the agent. Across 7 systems and 4 datasets, we find that agents consistently produce stronger claims than warranted.