Active Reinforcement Learning for Robust Building Control

📄 arXiv: 2312.10289v1 📥 PDF

作者: Doseok Jang, Larry Yan, Lucas Spangher, Costas Spanos

分类: cs.LG, cs.AI, eess.SY

发布日期: 2023-12-16

💡 一句话要点

提出ActivePLR算法，用于鲁棒建筑控制的主动强化学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 鲁棒控制 建筑控制 无监督环境设计 不确定性感知

📋 核心要点

  1. 传统强化学习在建筑控制等领域面临泛化性挑战，易于过拟合训练环境，难以应对真实世界的多变情况。
  2. ActivePLR算法通过主动生成具有挑战性的训练环境，并结合不确定性感知神经网络，提升智能体的鲁棒性。
  3. 实验表明，ActivePLR在降低能耗和提升居住舒适度方面优于现有无监督环境设计算法，效果显著。

📝 摘要（中文）

强化学习(RL)是优化控制的强大工具，已在Atari游戏、围棋、机器人控制和建筑优化中取得巨大成功。然而，RL也非常脆弱，智能体经常过度拟合其训练环境，无法泛化到新的设置。无监督环境设计(UED)已被提出作为一种解决方案，其中智能体在经过专门选择的环境中进行训练，以帮助其学习。先前的UED算法侧重于训练RL智能体，使其能够泛化到广泛的环境分布。当我们希望优先考虑一个环境中的性能而不是其他环境时，这不一定是理想的。在这项工作中，我们将研究鲁棒RL建筑控制的设置，我们希望训练一个RL智能体，该智能体优先在正常天气下表现良好，同时对极端天气条件具有鲁棒性。我们展示了一种新颖的UED算法ActivePLR，该算法使用不确定性感知神经网络架构来生成RL智能体能力极限的新训练环境，同时能够优先考虑所需基本环境中的性能。我们表明，在建筑控制的设置中，ActivePLR能够优于最先进的UED算法，从而最大限度地减少能源消耗，同时最大限度地提高居住者的舒适度。

🔬 方法详解

问题定义：论文旨在解决强化学习在建筑控制中泛化能力不足的问题。现有方法容易过拟合特定环境，无法在极端天气等未见情况下保持良好的控制性能，导致能源浪费和居住舒适度下降。

核心思路：ActivePLR的核心在于主动探索和利用强化学习智能体的不确定性。通过生成智能体难以处理的、具有挑战性的环境，迫使智能体学习更鲁棒的策略。同时，算法能够优先考虑在正常环境下的性能，保证基本控制效果。

技术框架：ActivePLR算法采用无监督环境设计(UED)框架，包含以下主要模块：1) 强化学习智能体，负责学习建筑控制策略；2) 环境生成器，基于智能体的不确定性，生成新的训练环境；3) 不确定性估计模块，用于评估智能体在不同环境下的表现不确定性；4) 奖励函数，综合考虑能源消耗、居住舒适度和环境难度。算法迭代进行，智能体在生成的新环境中训练，环境生成器根据智能体的表现不断调整环境参数。

关键创新：ActivePLR的关键创新在于其主动学习和不确定性感知的环境生成机制。与传统的随机或启发式环境生成方法不同，ActivePLR能够根据智能体的学习状态，动态生成最具挑战性的训练环境，从而加速学习过程并提升鲁棒性。此外，算法能够平衡正常环境下的性能和极端环境下的鲁棒性，满足实际应用需求。

关键设计：ActivePLR使用不确定性感知神经网络来估计智能体在不同环境下的表现不确定性。具体而言，可以使用Dropout、集成方法或贝叶斯神经网络等技术。环境生成器可以采用生成对抗网络(GAN)或变分自编码器(VAE)等模型，学习环境参数的分布，并生成新的环境。奖励函数需要仔细设计，以平衡能源消耗、居住舒适度和环境难度。例如，可以使用加权和或帕累托优化等方法。

📊 实验亮点

实验结果表明，ActivePLR算法在建筑控制任务中，相较于现有UED算法，能够在降低能源消耗的同时，显著提升居住舒适度。具体性能提升数据在论文中给出，证明了ActivePLR在鲁棒性和性能方面的优势。

🎯 应用场景

该研究成果可应用于智能建筑控制、智能家居、温室控制等领域，通过强化学习自动优化能源使用，提升居住舒适度，并适应各种环境变化。该方法有助于降低建筑能耗，减少碳排放，实现可持续发展。

📄 摘要（原文）

Reinforcement learning (RL) is a powerful tool for optimal control that has found great success in Atari games, the game of Go, robotic control, and building optimization. RL is also very brittle; agents often overfit to their training environment and fail to generalize to new settings. Unsupervised environment design (UED) has been proposed as a solution to this problem, in which the agent trains in environments that have been specially selected to help it learn. Previous UED algorithms focus on trying to train an RL agent that generalizes across a large distribution of environments. This is not necessarily desirable when we wish to prioritize performance in one environment over others. In this work, we will be examining the setting of robust RL building control, where we wish to train an RL agent that prioritizes performing well in normal weather while still being robust to extreme weather conditions. We demonstrate a novel UED algorithm, ActivePLR, that uses uncertainty-aware neural network architectures to generate new training environments at the limit of the RL agent's ability while being able to prioritize performance in a desired base environment. We show that ActivePLR is able to outperform state-of-the-art UED algorithms in minimizing energy usage while maximizing occupant comfort in the setting of building control.