Deep Learning Based Simulators for the Phosphorus Removal Process Control in Wastewater Treatment via Deep Reinforcement Learning Algorithms

📄 arXiv: 2401.12822v1 📥 PDF

作者: Esmaeel Mohammadi, Mikkel Stokholm-Bjerregaard, Aviaja Anna Hansen, Per Halkjær Nielsen, Daniel Ortiz-Arroyo, Petar Durdevic

分类: eess.SY, cs.AI, cs.LG

发布日期: 2024-01-23

备注: Journal Paper

期刊: Engineering Applications of Artificial Intelligence 133 (2024) 107992

DOI: 10.1016/j.engappai.2024.107992

💡 一句话要点

基于深度强化学习的污水处理磷去除过程控制模拟器

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 污水处理 磷去除 过程控制 模拟器 机器学习 SCADA系统

📋 核心要点

  1. 现有方法在化学和生物过程的模拟中面临准确性不足和不确定性的问题，限制了深度强化学习的应用。
  2. 本研究提出了一种通过训练模型创建模拟器的方法，以支持深度强化学习在污水处理中的应用，简化了系统建模过程。
  3. 实验结果表明，所训练的模型在磷去除过程中的准确率超过97%，但在长时间预测中仍存在性能限制。

📝 摘要（中文）

磷去除在污水处理过程中至关重要，以减少对有限资源的依赖。深度强化学习（DRL）是一种机器学习技术，可以通过试错学习控制策略来优化复杂的非线性系统，包括污水处理厂的过程。然而，将DRL应用于化学和生物过程面临挑战，主要是由于对准确模拟器的需求。本研究训练了六个模型以识别磷去除过程，并利用这些模型创建了DRL环境的模拟器。尽管模型的准确率超过97%，但不确定性和错误预测行为限制了其在较长时间范围内作为模拟器的性能。模型预测中的累积误差被认为是导致这一问题的原因之一。该方法通过使用来自监控控制和数据采集（SCADA）系统的数据，创建DRL算法的模拟环境，避免了复杂的系统建模或参数估计。

🔬 方法详解

问题定义：本研究旨在解决污水处理过程中磷去除的控制问题，现有方法在模拟化学和生物过程时面临准确性不足和不确定性的问题。

核心思路：论文的核心思路是通过训练六个模型来识别磷去除过程，并利用这些模型创建深度强化学习的模拟器，从而优化控制策略。

技术框架：整体架构包括数据收集、模型训练和模拟器创建三个主要模块。首先，从SCADA系统收集历史数据，然后训练模型以识别过程，最后构建DRL环境的模拟器。

关键创新：最重要的技术创新点在于通过模型训练创建模拟器，避免了复杂的系统建模和参数估计，直接利用历史数据进行控制策略优化。

关键设计：在模型训练中，采用了适当的损失函数和网络结构，以确保模型的高准确性和稳定性。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所训练的模型在磷去除过程中的准确率超过97%。然而，尽管模型表现良好，长时间预测中的不确定性和错误行为仍然限制了其作为模拟器的有效性，提示未来研究需关注模型的稳定性和准确性。

🎯 应用场景

该研究的潜在应用领域包括污水处理厂的自动化控制和优化，能够有效提高磷去除效率，降低对人工干预的依赖。未来，该方法可能扩展到其他化学和生物过程的控制中，具有广泛的实际价值。

📄 摘要（原文）

Phosphorus removal is vital in wastewater treatment to reduce reliance on limited resources. Deep reinforcement learning (DRL) is a machine learning technique that can optimize complex and nonlinear systems, including the processes in wastewater treatment plants, by learning control policies through trial and error. However, applying DRL to chemical and biological processes is challenging due to the need for accurate simulators. This study trained six models to identify the phosphorus removal process and used them to create a simulator for the DRL environment. Although the models achieved high accuracy (>97%), uncertainty and incorrect prediction behavior limited their performance as simulators over longer horizons. Compounding errors in the models' predictions were identified as one of the causes of this problem. This approach for improving process control involves creating simulation environments for DRL algorithms, using data from supervisory control and data acquisition (SCADA) systems with a sufficient historical horizon without complex system modeling or parameter estimation.