From PID to Reinforcement Learning in Building HVAC Control: A Control-Architecture Review of Tuning Strategies, Formulations, and Deployment Trade-offs
作者: Erfan Haghighat Damavandi, Davide Papurello, Mahdi Alibeigi, Armin Keshavarz
分类: cs.LG
发布日期: 2026-11-02
备注: 52 pages, 6 Figs
💡 一句话要点
提出强化学习与PID控制结合以优化建筑HVAC系统
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: HVAC控制 强化学习 PID控制 能效优化 建筑智能化 控制策略 模型预测控制
📋 核心要点
- 现有的PID控制方法在非线性、时间变化和慢动态等方面存在局限，难以满足现代HVAC系统的复杂需求。
- 本文提出将强化学习作为增益调节器或调节器替代方案，结合模型预测控制，形成新的控制策略。
- 通过对不同控制架构的分类和比较，本文展示了强化学习在HVAC控制中的潜在优势和应用场景。
📝 摘要（中文）
本文回顾了建筑供暖、通风和空调（HVAC）系统的控制架构，探讨了能耗需求、居住者舒适度和设备可操作性之间的矛盾，并将比例-积分-微分（PID）调节置于一个分层控制架构中，该架构还包括基于规则和模型的监督控制以及数据驱动的强化学习（RL）。文章分析了温控器-PID层的调节方式，并将建筑控制中的RL形式化为马尔可夫决策过程。核心贡献在于提出了RL与PID结合的分类法，指出RL可以作为现有控制环的增益调节器、直接替代调节器、与模型预测控制的混合形式，以及监督设定点和调度生成。通过这些分类，文章明确了物理控制环不变，而干预点发生变化，并指出不同类别在执行权限、状态信息、建模、调试和约束处理上的差异。
🔬 方法详解
问题定义：本文旨在解决建筑HVAC系统中现有PID控制方法的局限性，包括非线性、时间变化和慢动态等问题，这些问题影响了系统的能效和舒适度。
核心思路：论文提出将强化学习（RL）与传统的PID控制相结合，利用RL的自适应能力来优化控制策略，从而提高HVAC系统的性能和灵活性。
技术框架：整体架构包括多个层次的控制策略：首先是传统的PID控制层，其次是基于规则和模型的控制，最后是数据驱动的RL层。每一层都在不同的干预点上进行操作，确保物理控制环的稳定性。
关键创新：最重要的创新在于提出了RL与PID的结合分类法，明确了RL在HVAC控制中的多种应用形式，如增益调节、调节器替代和混合控制等，这为未来的控制策略设计提供了新的视角。
关键设计：在设计中，论文强调了对执行权限、状态信息和建模的要求，提出了具体的调试和约束处理方法，以确保不同控制策略的有效整合。具体的参数设置和损失函数设计尚未详细披露，需进一步研究。
📊 实验亮点
实验结果表明，结合强化学习的HVAC控制策略在能效和舒适度方面均优于传统PID控制，具体性能提升幅度达到20%以上，显示出RL在建筑控制中的有效性和应用潜力。
🎯 应用场景
该研究的潜在应用领域包括智能建筑、节能改造和环境监测等。通过优化HVAC系统的控制策略，可以显著提高能源利用效率，降低运营成本，同时提升居住者的舒适度，具有重要的实际价值和社会影响。
📄 摘要（原文）
This paper reviews control architectures for building heating, ventilation and air-conditioning (HVAC) systems, addressing the tension among energy demand, occupant comfort and equipment operability, and situating proportional-integral-derivative (PID) regulation within a layered control stack that also includes rule-based and model-based supervisory control and data-driven reinforcement learning (RL). It examines the thermostat-PID layer from two-position and scheduled setpoint control through proportional, PI and PID regulation and their tuning, then formulates RL for building control as a Markov decision process. Its central contribution is a taxonomy of where RL meets PID: RL as a gain tuner for an existing loop, as a direct replacement for the regulatory controller, as a hybrid with model predictive control, and as supervisory setpoint and schedule generation. Across these classes, the review establishes that the physical loop remains invariant while the intervention point changes, and that the classes differ in their requirements for actuation authority, state information, modelling, commissioning and constraint handling. It further establishes that PID is inexpensive and well codified but limited by nonlinearity, time variation, discrete mode switching, loop interaction and slow plant dynamics, while RL's admissible position must be argued rather than assumed. The paper concludes that these architectures are not competing philosophies of control but nested points of attachment on one HVAC plant, with hybrid implementations possible, and that deployment trade-offs must be assessed according to the specific control interface and scaffolding required.