In vivo learning-based control of microbial populations density in bioreactors

📄 arXiv: 2312.09773v1 📥 PDF

作者: Sara Maria Brancato, Davide Salzano, Francesco De Lellis, Davide Fiore, Giovanni Russo, Mario di Bernardo

分类: eess.SY, cs.AI, q-bio.QM

发布日期: 2023-12-15

备注: 13 pages, 4 figures

💡 一句话要点

提出基于学习的微生物种群密度控制策略，用于生物反应器

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 生物反应器控制 微生物种群密度 强化学习 Sim-to-Real 生物合成 过程控制 Chi.Bio

📋 核心要点

  1. 现有方法难以精确控制生物反应器中微生物种群密度，限制了其作为生物工厂的应用。
  2. 采用sim-to-real范式，利用简单模型生成的合成数据训练控制器，降低了实际实验成本。
  3. 实验结果表明，基于学习的控制器在体内表现出与传统控制器相似的性能和鲁棒性。

📝 摘要（中文）

本文针对微生物作为生物工厂应用时，维持细胞群落达到期望密度和组成，从而高效转化生物质为有用化合物的关键问题，提出了一种基于学习的策略，扩展了可用于调控生物反应器中单一细菌种群密度的控制算法工具箱。该方法采用sim-to-real范式，利用少量数据校准的简单数学模型生成合成数据，用于训练控制器。所得策略在低成本生物反应器Chi.Bio上进行了全面的体内测试，评估了性能和鲁棒性。此外，还将该方法与传统的PI和MPC控制器进行了性能比较，结果表明基于学习的控制器在体内表现出相似的性能。这项工作展示了基于学习的策略在生物反应器中控制细胞密度的可行性，为将其用于控制微生物群落的组成迈出了一步。

🔬 方法详解

问题定义：论文旨在解决生物反应器中微生物种群密度难以精确控制的问题。现有控制方法，如PID控制，可能需要大量的手动调整和实验，且难以适应复杂的生物系统动态变化。这限制了微生物作为生物工厂的应用，因为需要精确控制细胞密度以优化生物质转化效率。

核心思路：论文的核心思路是利用强化学习，通过模拟环境训练控制器，然后将训练好的控制器部署到真实的生物反应器中。这种sim-to-real的方法可以显著减少在真实环境中进行实验的次数，降低成本和时间。通过学习，控制器能够更好地适应生物系统的复杂动态，实现更精确的种群密度控制。

技术框架：整体框架包括以下几个主要阶段：1) 系统建模：使用简单的数学模型描述生物反应器中细菌种群的生长和控制过程。2) 数据生成：利用校准后的数学模型生成大量的合成数据，模拟不同的控制策略和环境条件下的种群密度变化。3) 控制器训练：使用生成的合成数据训练强化学习控制器，目标是学习一个能够将种群密度维持在期望水平的策略。4) 体内测试：将训练好的控制器部署到真实的Chi.Bio生物反应器中，评估其性能和鲁棒性。5) 性能比较：将基于学习的控制器的性能与传统的PI和MPC控制器进行比较。

关键创新：最重要的技术创新点在于将sim-to-real范式应用于生物反应器中的微生物种群密度控制。与传统的控制方法相比，该方法能够利用合成数据进行训练，减少了对真实实验数据的依赖，降低了实验成本和时间。此外，强化学习控制器能够学习到更复杂的控制策略，更好地适应生物系统的动态变化。

关键设计：论文中使用的数学模型是一个简化的细菌生长模型，包含细菌生长速率、死亡速率和营养物质消耗等参数。强化学习控制器采用的模型结构未知，但需要设计合适的奖励函数，鼓励控制器将种群密度维持在期望水平。奖励函数的设计是关键，需要平衡控制精度和控制成本。此外，还需要考虑如何将合成数据和真实数据进行结合，以提高控制器的泛化能力。

📊 实验亮点

实验结果表明，基于学习的控制器在Chi.Bio生物反应器中实现了对细菌种群密度的有效控制，其性能与传统的PI和MPC控制器相当。这验证了sim-to-real范式在生物反应器控制中的可行性。虽然没有给出具体的性能数据和提升幅度，但实验结果表明该方法具有良好的鲁棒性，能够适应生物系统的动态变化。

🎯 应用场景

该研究成果可应用于生物制药、生物燃料生产、环境工程等领域。通过精确控制生物反应器中微生物种群密度，可以优化生物合成过程，提高目标产物的产量和质量。未来，该方法有望扩展到控制微生物群落的组成，实现更复杂的生物过程调控，例如合成生物学中的基因线路控制。

📄 摘要（原文）

A key problem toward the use of microorganisms as bio-factories is reaching and maintaining cellular communities at a desired density and composition so that they can efficiently convert their biomass into useful compounds. Promising technological platforms for the real time, scalable control of cellular density are bioreactors. In this work, we developed a learning-based strategy to expand the toolbox of available control algorithms capable of regulating the density of a \textit{single} bacterial population in bioreactors. Specifically, we used a sim-to-real paradigm, where a simple mathematical model, calibrated using a few data, was adopted to generate synthetic data for the training of the controller. The resulting policy was then exhaustively tested in vivo using a low-cost bioreactor known as Chi.Bio, assessing performance and robustness. In addition, we compared the performance with more traditional controllers (namely, a PI and an MPC), confirming that the learning-based controller exhibits similar performance in vivo. Our work showcases the viability of learning-based strategies for the control of cellular density in bioreactors, making a step forward toward their use for the control of the composition of microbial consortia.