TuneBench: Benchmarking AI Agents for Power System Dynamic Model Calibration
作者: Andrea Pomarico, Salvatore Tessitore, Giorgio Giannuzzi, Alberto Berizzi
分类: eess.SY
发布日期: 2026-11-03
🔗 代码/项目: GITHUB
💡 一句话要点
提出TuneBench以评估电力系统动态模型校准中的AI代理
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 动态模型校准 大型语言模型 电力系统 自动化调优 智能电网 性能评估
📋 核心要点
- 现有方法在电力系统动态模型校准中面临复杂性和效率不足的挑战，尤其是在缺乏专有模型时。
- 论文提出的TuneBench基准通过使用LLM代理，自动化动态模型校准过程，显著提高了效率和准确性。
- 实验结果表明，LLM代理在重现目标动态响应方面表现优异，R2值超过0.995，跟踪误差显著低于传统方法。
📝 摘要（中文）
基于大型语言模型（LLM）的代理能够通过与工具交互、解释反馈和进行迭代决策来自动化复杂的工程工作流程。本文介绍了TuneBench，这是一个用于评估电力系统动态模型校准中代理AI的基准，校准过程中调整控制器参数以重现目标动态响应。该基准反映了传输系统运营商（TSO）的一种常见实践，即在专有模型不可用时，使用动态安全评估（DSA）所需的等效模型与电网合规测试的测量结果进行校准。考虑了两个复杂度逐渐增加的案例：同步发电机的调速器和自动电压调节器（AVR），以及电池储能系统（BESS）的控制系统，均在15次模拟预算内针对有功功率和电压阶跃测试进行调优。与随机搜索和遗传算法（GA）基线相比，LLM代理在10次独立运行中表现优异。只有最先进的模型Opus 5.5和GPT-6能够准确重现所有目标轨迹，所有测试中的中位R2值均超过0.995，跟踪误差比基线低两个数量级。代理日志显示，这些代理能够自主提取动态性能指标，并将其与特定控制参数关联，分解调优问题为物理可解释的子问题。
🔬 方法详解
问题定义：本文旨在解决电力系统动态模型校准中的复杂性和效率问题，现有方法在缺乏专有模型时难以实现有效校准。
核心思路：通过引入TuneBench基准，利用LLM代理自动化校准过程，使其能够与工具交互并进行迭代决策，从而提高校准的效率和准确性。
技术框架：整体架构包括数据输入、模型选择、参数调优和结果评估四个主要模块。代理通过与环境交互，逐步优化控制参数以达到目标动态响应。
关键创新：最重要的技术创新在于使用LLM代理进行动态模型校准，能够自主提取动态性能指标并将其与控制参数关联，分解调优问题为可解释的子问题。
关键设计：在实验中，设置了15次模拟预算，使用了Opus 5.5和GPT-6等先进模型，采用中位R2值作为性能评估指标，确保了调优过程的高效性和准确性。
📊 实验亮点
实验结果显示，使用LLM代理的模型在所有测试中的中位R2值超过0.995，跟踪误差比随机搜索和遗传算法低两个数量级，表明其在动态模型校准中的显著优势。
🎯 应用场景
该研究的潜在应用领域包括电力系统的动态安全评估、智能电网管理和可再生能源集成等。通过提高动态模型校准的效率和准确性，能够为电力系统的稳定性和安全性提供更可靠的支持，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large Language Model (LLM)-based agents can automate complex engineering workflows by interacting with tools, interpreting feedback, and making iterative decisions. This paper introduces TuneBench, a benchmark for evaluating Agentic AI in power system dynamic model calibration, where controller parameters are adjusted to reproduce target dynamic responses. The benchmark reflects a common Transmission System Operator (TSO) practice, in which equivalent models used for Dynamic Security Assessment (DSA) are calibrated against measurements from grid-code compliance tests when proprietary models are unavailable. Two cases of increasing complexity are considered: the governor and Automatic Voltage Regulator (AVR) of a synchronous generator and the control system of a Battery Energy Storage System (BESS), both tuned against active-power and voltage step tests within a budget of 15 simulations. LLM-based agents are compared with random search and Genetic Algorithm (GA) baselines over 10 independent runs. Only the most advanced models, Opus 5.5 and GPT-6, accurately reproduce all target trajectories, with median R2 above 0.995 in every test and tracking errors up to two orders of magnitude lower than the baselines. The agent logs show that these agents autonomously extract dynamic performance indices, such as settling time and damping, and relate them to specific control parameters, decomposing the tuning problem into physically interpretable sub-problems. The benchmark is publicly available at https://github.com/Power-Agent/PowerAgentBench/tree/main/benchmarks/dynamic/level3.