AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling
作者: Abhigya Verma, Amit Kumar Saha, Seganrasan Subramanian, Sai Harshitha Aluru
分类: cs.AI
发布日期: 2026-08-27
备注: 31 Pages, 9 Figures, 31 Tables, Accepted as a main conference paper at EMNLP 2026
💡 一句话要点
提出AgentJudgeBench基准以评估LLM在工具调用中的可靠性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: LLM评判者 工具调用 结构化工作流 DAG拓扑 评估基准 任务难度 对齐度 智能代理系统
📋 核心要点
- 现有的LLM评判者在结构化工作流中的可靠性尚未得到充分验证，存在评估不一致的问题。
- 本文提出AgentJudgeBench基准，系统性地评估LLM作为评判者在工具调用中的表现，涵盖多种难度和拓扑结构。
- 实验结果显示，评判者的对齐度随着任务难度增加而下降，且在没有真实答案的情况下，所有评判者的表现趋于一致，揭示了当前方法的局限性。
📝 摘要（中文）
LLM评判者广泛用于评估工具调用系统，但其在结构化、依赖驱动的工作流中的可靠性尚未得到充分研究。本文提出AgentJudgeBench，这是第一个系统性研究LLM作为评判者在工作流DAG上工具调用可靠性的基准。该基准包含3,808个实例，涵盖六种DAG拓扑和三个难度层次，使用五种生成器和六种评判者进行评估。研究发现，评判者的对齐度随着任务难度单调下降，且在没有真实答案的情况下下降速度更快，显示出任务难度对评判者性能的结构性限制。尽管真实答案的暴露并不总是有益，但结构化评估标准能够提高对齐度，提供了可靠评估代理系统的实用指南。
🔬 方法详解
问题定义：本文旨在解决LLM评判者在结构化、依赖驱动的工作流中的可靠性问题。现有方法未能充分评估LLM在复杂任务中的表现，导致评估结果不一致。
核心思路：论文提出AgentJudgeBench基准，通过系统性地设计多种DAG拓扑和难度层次，评估LLM作为评判者的可靠性，特别是在工具调用场景下。
技术框架：整体架构包括三个主要模块：生成器（使用不同规模的LLM）、评判者（不同规模的LLM作为评判者）和评估标准（有无真实答案的对比评估）。
关键创新：最重要的创新在于首次系统性地评估LLM在工具调用中的可靠性，揭示了任务难度对评判者性能的影响，并提出了结构化评估标准以改善对齐度。
关键设计：在实验中，采用了多种生成器和评判者，设置了不同的难度层次，并使用了结构化评估标准来提高评判者的对齐度。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在没有真实答案的情况下，所有评判者的对齐度均趋于77-82%的狭窄范围，且在高难度任务中下降速度更快。结构化评估标准能够提高对齐度，最大提升幅度达到6.5个百分点，显示出该方法在评估LLM性能中的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能代理系统、自动化工具评估和人机交互等。通过提高LLM评判者的可靠性，能够更好地支持复杂任务的自动化处理，提升系统的智能化水平，未来可能对智能系统的设计和评估产生深远影响。
📄 摘要（原文）
LLM judges are widely used to evaluate agentic tool-calling systems, yet their reliability on structured, dependency-driven workflows remains largely unexamined. We present AgentJudgeBench, the first benchmark to systematically study LLM-as-a-judge reliability for agentic tool-calling over workflow DAGs, as distinct from the broader LLM-as-a-judge task of open-ended text or preference evaluation. The benchmark comprises 3,808 instances spanning six DAG topologies and three difficulty tiers, evaluated with five generators (3B-70B open-weight models and GPT-5.4) and six judges (20B to frontier scale) under paired with- and without-ground-truth conditions. Judge alignment degrades monotonically with task difficulty, 1.5x faster without ground truth, and on hard queries without ground truth all six judges converge to a narrow 77-82% band regardless of scale, revealing a structural ceiling driven primarily by task difficulty, though its height is partly prompt-dependent for weaker generators, that model capacity alone cannot overcome. Ground-truth exposure is not uniformly beneficial: it reduces alignment for GPT-5.4 (1.5 pp) and Gemini-2.5-Pro (3.9 pp), consistent with over-anchoring. Among mitigation strategies, chain-of-thought reasoning and judge temperature both have negligible effect, while structured evaluation rubrics improve alignment by up to 6.5 pp but do not generalize uniformly across judge-generator pairs. With ground truth, QwQ-32B best matches the programmatic reference, while a human validation study identifies GPT-OSS-120B as the most human-aligned judge; without it, frontier judges lead only marginally within the shared ceiling. These results expose fundamental limitations of current LLM judges and yield practical guidelines for reliable evaluation in agentic systems.