BekchiAI: Measuring, Observing, and Controlling LLM Agents in One Click
作者: Mesut Toruk
分类: cs.AI
发布日期: 2026-08-27
备注: 8 pages, 1 Figure, 6 tables
💡 一句话要点
提出BekchiAI以测量和控制大语言模型代理的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 代理技能 基准测试 实时监控 行为指标
📋 核心要点
- 现有方法难以准确测量大语言模型代理的代理技能，依赖排行榜的评估方式存在局限性。
- BekchiAI提供了一个基准和平台，能够同时测量代理技能并观察、控制实时代理，提升了评估的准确性和可操作性。
- 通过对四个不同模型的比较，BekchiAI展示了在工具调用遵循性、URL幻觉等方面的显著差异，提供了更全面的评估视角。
📝 摘要（中文）
大语言模型代理在多个步骤中能够推理、调用工具并自主行动，但其代理技能的准确测量仅依赖于排行榜存在困难。本文提出了BekchiAI，既是测量代理技能的基准，也是观察和控制实时代理的平台。BekchiAI-Benchmark包含13个工具使用的ReAct代理，涵盖7个任务类别，总计2057个可验证的测试任务。每个任务的答案通过运行标准SQL与真实数据库进行计算，确保模型的判断能力而非简单复制。我们定义了一组超越准确性的行为指标，并对四个模型进行了比较，结果显示每个模型的表现差异显著。BekchiAI-Platform作为补充，提供了全面的遥测和远程终止功能，所有工具和平台均已公开发布。
🔬 方法详解
问题定义：本文旨在解决大语言模型代理技能测量的不足，现有方法主要依赖排行榜，无法全面反映模型的真实能力和判断力。
核心思路：BekchiAI通过建立一个综合基准和控制平台，允许对代理的技能进行全面评估和实时监控，从而克服现有方法的局限性。
技术框架：BekchiAI的整体架构包括两个主要模块：BekchiAI-Benchmark和BekchiAI-Platform。前者提供了多样化的测试任务，后者则负责实时监控和控制代理的运行。
关键创新：BekchiAI的创新在于其基准的设计，结合了可验证的测试任务和多维度的行为指标，确保评估结果的真实性和可靠性。
关键设计：在基准中，任务答案通过标准SQL计算，确保了答案的准确性；同时，定义了一系列行为指标，如工具调用遵循性和URL幻觉等，以全面评估模型的表现。
🖼️ 关键图片
📊 实验亮点
在对四个模型的比较中，BekchiAI展示了在工具调用遵循性和URL幻觉等方面的显著差异，提供了更全面的评估视角。具体而言，模型在不同任务类别中的表现差异明显，反映出模型的能力和局限性。
🎯 应用场景
BekchiAI的研究成果可广泛应用于大语言模型的开发和评估，尤其是在需要高可靠性和准确性的领域，如金融、医疗和安全检测等。通过提供实时监控和控制功能，开发者可以更好地理解和优化模型的行为，提升其在实际应用中的表现。
📄 摘要（原文）
Large language model agents reason, call tools, and act autonomously over many steps, but their agentic skills-correctly sequencing tools, planning under dependencies, judging untrusted inputs, and grounding generated arguments-are hard to measure with accuracy-only leaderboards. We present BekchiAI, which addresses both sides: a benchmark for measuring agentic skill and a platform for observing and controlling live agents. The BekchiAI-Benchmark, a suite of 13 tool-using ReAct agents across 7 task categories (arithmetic, structured/SQL, security detection, URL grounding, planning, orchestration, and tool-policy), totalling 2,057 deterministic, committed test tasks. Every task is verifier-checkable gold answers are computed by running canonical SQL against a real database, computing the exact schedule of a directed acyclic graph (DAG), or evaluating closed-form lambdas including adversarial security samples paired with deliberately imperfect signature scanners so a score reflects the model's own judgment, not the copying of an oracle. We define a small set of behavioral metrics beyond accuracy-tool-call adherence, URL hallucination and source-match, and per-model token cost and report a four-model comparison (Qwen3.7-Max, gemma-4-31B-it, gemma4:26b, gpt-oss-120b) whose story is in the per-family spread, not the aggregate. The benchmark runs are executed using the provided evaluation scripts. BekchiAI-Platform is a complementary web-based observability and control layer for deployed agents, providing full token and latency telemetry as well as remote run termination. The benchmark, evaluation tools, and platform are publicly released.