ATLAS: Dual-Horizon Diagnostic Evaluation for Industrial Tool-Use Agents
作者: Wei Chen, Peilun Zhou, Zhaoyu Hu, Jiajun Chai, Zhongni Hou, Yufei Zhang, Derong Xu, Guojun Yin, Wei Lin, Zhi Zheng, Tong Xu
分类: cs.AI
发布日期: 2026-08-31
备注: 25 pages
💡 一句话要点
提出ATLAS框架以解决工业工具使用代理的评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 工具使用代理 诊断评估 用户交互 政策优化 工业应用 服务一致性
📋 核心要点
- 现有的评估方法未能有效揭示工业工具使用代理在执行过程中的能力缺陷和服务一致性，导致评估结果不够全面。
- ATLAS框架通过请求视角和交互视角的双重诊断信号，系统性地分析代理的执行缺陷和持续服务行为。
- 在美团小团的离线和在线实验中，ATLAS展现了在用户参与度、业务成果和人审质量等方面的显著提升。
📝 摘要（中文）
随着大型语言模型（LLM）代理在需要动态工具使用的用户服务中的广泛应用，可靠的评估变得至关重要。现有方法在评估过程中未能有效揭示能力缺陷和服务一致性。为此，本文提出了ATLAS，一个双视角的诊断评估框架，分别从请求视角和交互视角分析代理的执行缺陷和服务行为。ATLAS通过可执行信号和明确的证据范围，支持政策优化，并在美团小团的生产流量中进行了评估，结果显示用户参与度和业务成果均有显著提升。
🔬 方法详解
问题定义：本文旨在解决工业工具使用代理的评估问题，现有方法无法有效识别执行过程中的缺陷和服务一致性，导致评估结果模糊。
核心思路：ATLAS框架通过双视角的诊断信号，分别从请求和交互两个层面分析代理的执行缺陷，提供结构化的诊断证据，以支持持续的服务改进。
技术框架：ATLAS包括两个主要模块：请求视角的诊断信号和交互视角的用户信号。请求视角关注执行位置和能力问题，而交互视角则评估服务在持续交互中的响应性。
关键创新：ATLAS的创新在于其双视角的诊断评估方法，能够同时捕捉执行缺陷和服务一致性，与传统单一视角评估方法相比，提供了更全面的分析能力。
关键设计：ATLAS的设计包括高置信度参考的LLM判断接口，必要时将决策行为提炼为高效的诊断模型，以实现低延迟和低成本的评估。
🖼️ 关键图片
📊 实验亮点
在美团小团的实验中，ATLAS框架的应用显著提高了用户参与度和下游业务成果，在线A/B测试显示出用户参与度和人审质量的显著提升，验证了其有效性和实用性。
🎯 应用场景
ATLAS框架在工业领域的潜在应用广泛，尤其适用于需要动态工具使用的用户服务场景。其结构化的评估方法可以帮助企业识别服务中的不足，优化政策，从而提升用户体验和业务绩效，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language model (LLM) agents are increasingly deployed in user-facing services that require iterative tool use under dynamic business conditions. Reliable evaluation is essential for sustained improvement: it must reveal capability deficiencies, inform priorities, and assess interventions. Yet industrial agent service unfolds both through the iterative trajectory of a current request and through continued user interaction. Final-outcome assessment can therefore obscure where deficiencies arise and whether later service remains aligned with context from earlier exchanges. We propose ATLAS, a dual-horizon diagnostic evaluation framework for industrial tool-use agents. At the request horizon, trajectory-wise diagnostic signals relate deficiencies to execution locations and capability concerns. At the interaction horizon, user-wise signals assess whether service remains responsive across continued interaction. Together, these views provide structured diagnostic evidence for analyzing execution deficiencies and sustained service behavior. ATLAS instantiates them as executable signals with explicit evidence scopes and decision boundaries. LLM judge interfaces are calibrated against high-confidence references from real business logs; when needed, their decision behavior is distilled into efficient diagnostic models for lower-latency, lower-cost evaluation. The resulting feedback supports policy optimization. We evaluate ATLAS on Meituan Xiaotuan production traffic. Offline experiments assess diagnostic-signal fidelity and replay-based policy improvement, while online A/B experiments show concurrent gains in user engagement, downstream business outcomes, and sampled human-audit quality.