On-Policy Reinforcement-Learning Control for Optimal Energy Sharing and Temperature Regulation in District Heating Systems

📄 arXiv: 2509.16083v2 📥 PDF

作者: Xinyi Yi, Ioannis Lestas

分类: eess.SY

发布日期: 2025-09-19 (更新: 2025-09-22)

备注: To appear at CDC 2025

💡 一句话要点

提出一种基于On-Policy强化学习的区域供热系统能量共享与温度控制方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 区域供热系统 能量共享 温度控制 On-Policy学习 LQR控制 智能楼宇 智慧城市

📋 核心要点

  1. 区域供热系统面临需求和参数未知带来的温度控制和能量优化挑战，传统方法难以适应不确定性。
  2. 论文提出基于On-Policy强化学习的控制方案，通过数据驱动的在线更新，实现温度调节和能量共享优化。
  3. 仿真结果表明，该方案能收敛到最优平衡点，并保证收敛到最优LQR控制策略，具有良好的瞬态性能。

📝 摘要（中文）

本文研究了需求和系统参数未知的区域供热系统(DHSs)中的温度调节和优化能量共享问题。我们提出了一种温度调节方案，该方案采用数据驱动的On-Policy更新来实现这些目标。特别地，我们证明了所提出的控制方案收敛到系统的最优平衡点，同时保证收敛到最优LQR控制策略，从而提供良好的瞬态性能。通过大量的仿真实验验证了该方法的有效性。

🔬 方法详解

问题定义：论文旨在解决区域供热系统中，在需求和系统参数未知的情况下，如何实现温度的精确调节和能量的最优共享问题。现有方法通常依赖于精确的系统模型，难以适应实际系统中存在的不确定性和时变性，导致控制性能下降甚至失效。

核心思路：论文的核心思路是利用On-Policy强化学习方法，通过与环境的交互，在线学习最优的控制策略。这种方法不需要预先建立精确的系统模型，而是直接从数据中学习，能够更好地适应系统的不确定性和时变性。通过不断地优化控制策略，最终实现温度的精确调节和能量的最优共享。

技术框架：该方法主要包含以下几个模块：1) 状态观测模块，用于获取系统的当前状态，例如温度、能量需求等；2) 策略网络，用于根据当前状态生成控制动作，例如调节阀门的开度、调整能量分配等；3) 环境模型，用于模拟区域供热系统的动态特性，根据控制动作更新系统状态；4) 奖励函数，用于评估控制动作的优劣，例如温度偏差、能量消耗等；5) On-Policy更新模块，用于根据奖励函数和系统状态，更新策略网络的参数，使其能够生成更优的控制动作。

关键创新：该论文的关键创新在于将On-Policy强化学习方法应用于区域供热系统的温度调节和能量共享问题。与传统的基于模型的方法相比，该方法不需要预先建立精确的系统模型，能够更好地适应系统的不确定性和时变性。此外，该方法还保证了收敛到最优LQR控制策略，从而提供良好的瞬态性能。

关键设计：论文中奖励函数的设计至关重要，需要综合考虑温度偏差、能量消耗等因素。策略网络通常采用深度神经网络，例如多层感知机或循环神经网络。On-Policy更新算法可以选择常见的算法，例如Actor-Critic算法或Trust Region Policy Optimization (TRPO)算法。具体的参数设置需要根据实际系统的特性进行调整。

📊 实验亮点

通过仿真实验验证了该方法的有效性，结果表明，该方案能够收敛到系统的最优平衡点，并保证收敛到最优LQR控制策略，从而提供良好的瞬态性能。具体的性能数据（例如温度调节精度、能量节省比例）在论文中进行了详细的展示。

🎯 应用场景

该研究成果可应用于智能楼宇、智慧城市等领域，通过优化区域供热系统的运行，降低能源消耗，提高能源利用效率，减少碳排放，实现可持续发展。此外，该方法还可以推广到其他能源系统，例如电力系统、天然气系统等，具有广泛的应用前景。

📄 摘要（原文）

We address the problem of temperature regulation and optimal energy sharing in district heating systems (DHSs) where the demand and system parameters are unknown. We propose a temperature regulation scheme that employs data-driven on-policy updates that achieve these objectives. In particular, we show that the proposed control scheme converges to an optimal equilibrium point of the system, while also having guaranteed convergence to an optimal LQR control policy, thus providing good transient performance. The efficiency of our approach is also demonstrated through extensive simulations.