PowerAgentBench-SS: A Benchmark for Agentic AI in Power System Steady-State Studies
作者: Costas Mylonas, Magda Foti, Andrea Pomarico, Matheus Duarte, Qian Zhang, Emmanouel Varvarigos
分类: eess.SY
发布日期: 2026-06-17
💡 一句话要点
提出PowerAgentBench-SS基准以评估电力系统中的智能代理
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 电力系统 智能代理 基准测试 大型语言模型 工程工作流 风险敏感指标 故障检测 工具使用
📋 核心要点
- 现有电力系统基准主要集中在数值求解和预测模型，缺乏对智能代理在复杂工程工作流中执行能力的测试。
- 本文提出PowerAgentBench-SS基准框架，旨在评估电力系统操作和规划中的工具使用代理，提供全面的评估指标和验证机制。
- 实验结果表明，代理的表现不仅体现在故障发现上，还包括验证预算的使用、证据支持的报告和缓解行为等多个维度。
📝 摘要（中文）
电力系统基准通常评估数值求解器、预测模型或顺序控制器，但未能直接测试大型语言模型（LLM）代理在工程工作流中的执行能力。本文介绍了PowerAgentBench-SS，这是一个用于评估电力系统操作和规划研究中工具使用代理的稳态基准框架。该基准提供公共案例数据、行动约束、工具API和验证预算，同时隐藏评估者重新计算物理有效性并评分提交的报告。我们定义了代理接口、工具合同、证据日志和风险敏感指标。通过在IEEE 39-bus操作点变体上进行可重复的DC热N-2故障搜索试点，展示了为什么仅依赖求解器或答案的评估是不够的。
🔬 方法详解
问题定义：本文旨在解决现有电力系统基准无法有效评估大型语言模型（LLM）代理在工程工作流中的执行能力的问题。现有方法主要集中在数值求解和预测模型，未能考虑代理的综合表现。
核心思路：提出PowerAgentBench-SS基准框架，通过定义代理接口、工具合同和风险敏感指标，全面评估代理在电力系统中的工具使用能力和工作流执行效果。
技术框架：该框架包括公共案例数据、行动约束、工具API和验证预算，代理通过这些模块进行操作，隐藏评估者负责重新计算物理有效性并评分。
关键创新：最重要的创新在于引入了多维度的评估指标，如证据支持的召回率和缓解行为等，突破了传统求解器或答案评估的局限性。
关键设计：设计了包括提交召回、证据支持召回、误报惩罚等在内的风险敏感指标，并通过在IEEE 39-bus变体上进行的试点实验验证了框架的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PowerAgentBench-SS基准能够有效区分代理的表现，尤其是在故障发现、验证预算使用和证据支持报告方面。与传统方法相比，代理在多维度评估中的表现显著提升，展现了智能代理在电力系统中的应用潜力。
🎯 应用场景
该研究的潜在应用领域包括电力系统的操作优化、故障检测与响应、以及智能代理在复杂工程任务中的应用。通过提供一个标准化的评估框架，能够促进智能代理技术在电力行业的实际应用，提升系统的安全性和效率。
📄 摘要（原文）
Power system benchmarks usually evaluate numerical solvers, prediction models, or sequential controllers. These benchmarks are necessary, but they do not directly test whether a Large Language Model (LLM) agent can execute an engineering workflow: inspect a grid case, select tools, call simulators, screen contingencies, propose admissible mitigations, validate results, and produce an auditable evidence trail. This paper introduces PowerAgentBench-SS, a steady-state benchmark framework for evaluating tool-using agents in power system operation and planning studies. The benchmark exposes public case data, action constraints, a tool API, and a validation budget to an agent, while a hidden evaluator recomputes physical validity and scores the submitted report. We define the agent interface, tool contract, evidence log, and risk-sensitive metrics, including submitted recall, evidence-backed recall, found recall, false-safe penalties, severity regret, residual violation score, action cost, tool-use efficiency, and workflow diagnostics. To make the framework concrete, we instantiate the protocol in a reproducible DC thermal N-2 contingency-search pilot on deterministic IEEE 39-bus operating-point variants, with scripted baselines, an LLM JSON-command adapter, three locally hosted Ollama LLM agents, and one OpenAI API agent. The results show why solver-only or answer-only evaluation is insufficient: agents are distinguished not only by top-contingency discovery, but also by validation-budget use, explicit submission, type coercions, duplicate validations, evidence-backed reporting, and mitigation behavior.