Reference-Free Heterogeneous Multi-Agent Reinforcement Learning for Grid-Friendly Tie-Line Power Shaping in Industrial Microgrids
作者: Daniyaer Paizulamua, Lin Cheng, Fashun Shi, Haoyu Zheng, Pengfei He, Haiwang Zhong
分类: eess.SY
发布日期: 2026-06-24
💡 一句话要点
提出SHAC框架以解决工业微电网的电网友好型输电线功率塑形问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 异构多智能体 强化学习 工业微电网 电网友好型操作 功率塑形 实时决策 经济效率 可再生能源
📋 核心要点
- 现有方法在工业微电网中难以有效协调多种异构资源，导致电网友好型输电线功率塑形的挑战。
- 论文提出的SHAC框架通过建模异构代理，利用跨角色观察和异步决策，优化TLP轨迹。
- 实验结果显示，SHAC在减少电网采购成本、超出合同需求时间和累积波动超额方面分别提升了91.27%、98.64%和96.91%。
📝 摘要（中文）
输电线功率（TLP）塑形是工业微电网（IMGs）电网友好运行的关键要求。本文研究了在钢铁IMG中协调多时间尺度异构可调资源，以塑造电网友好的TLP轨迹，考虑多个目标。提出了一种顺序异构代理协调（SHAC）框架，其中过程负载、氢储存和电池储存被建模为功能异构代理，具有跨角色观察、异步决策间隔、角色特定奖励和评论者。这种设计捕捉了不同资源对TLP轨迹的异构时间效应，并缓解了模糊的信用分配和弱代理间协调。数值研究表明，SHAC有效消除了对预定义参考轨迹的依赖，实现了自适应的1分钟在线决策，且每步平均计算时间仅为0.4毫秒。
🔬 方法详解
问题定义：本论文旨在解决工业微电网中多种异构可调资源的协调问题，现有方法在处理异构资源时存在信用分配模糊和代理间协调不足的痛点。
核心思路：提出的SHAC框架通过将过程负载、氢储存和电池储存建模为异构代理，利用其跨角色观察和异步决策机制，来优化电网友好的TLP轨迹。
技术框架：SHAC框架包含多个模块，包括异构代理的建模、角色特定的奖励机制、异步决策间隔的处理以及基于过程知识的动作屏蔽和可行性投影。
关键创新：SHAC的核心创新在于其顺序异构代理协调机制，能够有效捕捉不同资源对TLP轨迹的异构时间效应，显著改善了代理间的协调性。
关键设计：在设计中，采用了角色特定的奖励函数和评论者，确保每个代理在其特定角色下进行优化，同时实现了实时决策的可行性投影和动作屏蔽策略。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SHAC框架在电网采购成本、合同需求超出时间和累积波动超额方面分别减少了91.27%、98.64%和96.91%。与原操作相比，SHAC实现了零生产失败，且每步平均计算时间仅为0.4毫秒，显示出其高效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括工业微电网的电力管理和优化，尤其是在可再生能源集成和电网友好型操作方面。通过提高经济效率和安全性，SHAC框架有助于推动智能电网的发展，促进可持续能源的使用。
📄 摘要（原文）
Tie-line power (TLP) shaping is a key requirement for the grid-friendly operation of industrial microgrids (IMGs). This paper studies the coordination of multi-timescale heterogeneous adjustable resources in a steel IMG to shape a grid-friendly TLP trajectory considering multiple objectives. A sequential heterogeneous-agent coordination (SHAC) framework is proposed, where process loads, hydrogen storage, and battery storage are modeled as functionally heterogeneous agents with cross-role observations, asynchronous decision intervals, role-specific rewards and critics. This design captures the heterogeneous temporal effects of different resources on the TLP trajectory and alleviates ambiguous credit assignment and weak inter-agent coordination. To ensure feasible real-time execution, process-knowledge-based action masking and feasibility projection are embedded into policy execution, and a role-aware multi-timescale actor--critic training scheme is developed for agents with different action structures and decision intervals. Numerical studies using real renewable generation and electricity market data show that SHAC effectively eliminates the dependence on predefined reference trajectories and enables adaptive 1-min online decision-making, achieving zero production failures with an average computational time of only 0.4 ms per step. Compared with the original operation, SHAC reduces the total grid purchase cost, contract-demand exceedance time, and cumulative ramp excess by 91.27\%, 98.64\%, and 96.91\%, respectively. These results demonstrate that the proposed framework improves the economic efficiency and grid friendliness of industrial microgrid operation while satisfying strict process-safety constraints and real-time computational requirements.