ORCA-bench: How Ready Are Language Model Agents for Oncall?
作者: Albert Gong, Kyuseong Choi, Abhineet Agarwal, Jason Schechner, Ryan Huang, Raj Agrawal, Anish Agarwal, Raaz Dwivedi
分类: cs.CL, cs.AI, cs.SE
发布日期: 2026-07-30
💡 一句话要点
提出ORCA-bench以评估语言模型代理在值班中的准备程度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 根本原因分析 基准测试 生产环境 运维管理 故障排查 OpenTelemetry 模型评估
📋 核心要点
- 现有的大型语言模型在处理值班根本原因分析时面临挑战，尤其是在处理噪声数据和模糊报告时。
- 论文提出了ORCA-bench基准，通过结合实时微服务系统和多样化的RCA任务，评估语言模型在值班环境中的表现。
- 实验结果显示，最佳模型在中等难度任务中的RCA准确率为25.3%，而在困难任务中仅为10.0%，表明仍需改进。
📝 摘要（中文）
大型语言模型能够编写、修补和搜索代码，但在值班根本原因分析（RCA）中需要不同的能力：对噪声指标、日志、追踪和源代码进行推理，通常是在事件发生数小时后。我们提出了ORCA-bench，这是一个基准测试，将通用编码代理置于生产环境的值班设置中。ORCA-bench结合了一个实时的OpenTelemetry仪器化微服务系统，提供六天的指标、日志和追踪数据，并配备1,079个RCA任务，系统地变化报告的具体性、检测时间和共存故障场景。专家SRE审核并确认了真实症状，我们的LLM评估者也经过人类重新评分。五个前沿代理的最佳RCA准确率在中等难度任务中为25.3%，在困难任务中为10.0%。这些结果表明，当前的编码代理在生产可靠性方面仍需大量工程投资。
🔬 方法详解
问题定义：论文要解决的问题是大型语言模型在值班根本原因分析中的有效性，现有方法在处理噪声数据和模糊用户报告时表现不佳，导致准确率低下。
核心思路：论文的核心思路是通过ORCA-bench基准测试，将语言模型置于真实的生产环境中，系统地评估其在处理复杂RCA任务时的能力。设计上强调了对真实数据和多样化任务的结合，以提高模型的实用性。
技术框架：整体架构包括一个实时的OpenTelemetry仪器化微服务系统，提供六天的真实指标、日志和追踪数据，配合1,079个RCA任务，任务设计考虑了报告的具体性和故障场景的共存。
关键创新：最重要的技术创新点在于将语言模型的评估置于真实的生产环境中，使用专家审核的真实症状作为基准，确保评估的有效性和可靠性。与现有方法相比，这种设计更贴近实际应用场景。
关键设计：在实验中，模型的评估采用了Cohen's κ统计量进行人类评分，确保了结果的可信度。此外，任务的多样性和复杂性设计使得模型在不同情境下的表现得以全面评估。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最佳模型在中等难度任务中的RCA准确率为25.3%，而在困难任务中仅为10.0%。此外，最弱模型在40%的事件报告中产生了不合理的根本原因，表明当前模型在实际应用中仍存在显著的改进空间。
🎯 应用场景
该研究的潜在应用领域包括软件开发、运维管理和故障排查等。通过提高语言模型在值班场景中的表现，能够帮助企业更高效地处理故障，减少停机时间，提升系统可靠性。未来，随着模型性能的提升，可能会在更多实际应用中得到推广。
📄 摘要（原文）
Large language models can write, patch, and search code, but oncall root cause analysis (RCA) demands something different: reasoning over noisy metrics, logs, traces, and source code, starting from ambiguous user-facing reports, often hours after the incident began. We introduce ORCA-bench, a benchmark that puts general-purpose coding agents in a production-fidelity oncall setting. ORCA-bench pairs a live OpenTelemetry-instrumented microservice system--exposing six days of metrics, logs, and traces through real telemetry interfaces (Prometheus, Jaeger, and OpenSearch via Grafana) and full source-code access--with 1,079 RCA tasks that systematically vary report specificity, time-to-detection, and co-occurring fault scenarios. Ground-truth symptoms are curated and signed off by expert SREs, and our LLM-as-judge is independently re-scored by humans (Cohen's $κ_w=0.90$). Across five frontier agents, the best RCA Accuracy is 25.3% on Medium-difficulty tasks (the realistic-input setting) and 10.0% on Hard--a gap that remains even with Claude Fable 5. The weakest model hallucinates an implausible root cause in 40% of incident reports, and removing source-code access degrades every metric. Crucially, these are performances on a curated 50 GB / six-day testbed with tasks investigated in isolation on a system whose code and instrumentation are public. Since real production systems are order of magnitudes larger, more dynamic, and more idiosyncratic, the gap we report is a lower bound on the engineering investment required before frontier coding agents can be safely entrusted with production reliability. We release the public set at https://hub.harborframework.com/datasets/orca-bench/ORCA-bench.