A Multi-Agent Reinforcement Learning Framework for Public Health Decision Analysis

📄 arXiv: 2311.00855v3 📥 PDF

作者: Dinesh Sharma, Ankit Shah, Chaitra Gopalappa

分类: cs.AI, cs.LG, cs.MA

发布日期: 2023-11-01 (更新: 2026-04-04)

备注: Updated to the accepted version published in Healthcare Analytics (November 2025)

期刊: Healthcare Analytics, 8 (2025) 100436

DOI: 10.1016/j.health.2025.100436

💡 一句话要点

提出多智能体强化学习框架以优化公共卫生决策

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 公共卫生决策 HIV流行 资源优化 流行病学互动

📋 核心要点

  1. 现有决策分析模型未能有效捕捉辖区间的互动，限制了干预策略的优化。
  2. 提出的多智能体强化学习框架支持辖区特定决策，考虑跨辖区的流行病学互动。
  3. 实验结果显示，MARL方法在加州和佛罗里达的应用中显著减少了新感染数量，优于传统方法。

📝 摘要（中文）

人类免疫缺陷病毒（HIV）在美国是一个重大公共卫生问题，每年约有3.5万人新感染。美国卫生与公共服务部的“结束HIV流行（EHE）”倡议旨在到2030年将新感染减少90%。现有决策分析模型往往只关注单个城市或全国数据，未能捕捉到优化干预策略所需的辖区间互动。为此，本文提出了一种多智能体强化学习（MARL）框架，支持特定辖区的决策，同时考虑跨辖区的流行病学互动。实验结果表明，MARL驱动的政策在固定预算约束下优于传统的单智能体强化学习方法，减少了新感染数量。该研究强调了在大规模公共卫生倡议中纳入辖区依赖性的重要性。

🔬 方法详解

问题定义：本文旨在解决现有公共卫生决策模型未能有效考虑辖区间互动的问题，导致资源分配和干预策略的优化不足。

核心思路：通过引入多智能体强化学习框架，支持针对特定辖区的决策制定，同时整合跨辖区的流行病学数据，以实现更精准的资源优化。

技术框架：该框架包括多个智能体，每个智能体代表一个辖区，智能体之间通过共享信息和协作来优化整体决策。主要模块包括数据收集、模型训练、策略优化和决策支持。

关键创新：最重要的创新在于将多智能体系统与强化学习结合，突破了传统单一决策模型的局限，能够动态适应不同辖区的需求和互动。

关键设计：在模型设计中，采用了特定的损失函数来平衡各辖区的利益，并通过强化学习算法优化决策策略，确保在固定预算下实现新感染的最小化。具体参数设置和网络结构的细节在实验中进行了验证和调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用多智能体强化学习的政策在加州和佛罗里达的应用中，成功减少了新感染数量，相较于传统单智能体强化学习方法，表现出显著的提升，具体数据未详述，但效果明显优于基线模型。

🎯 应用场景

该研究的多智能体强化学习框架可广泛应用于公共卫生政策的制定与实施，尤其是在应对传染病流行和资源分配方面。其智能决策支持系统能够为政策制定者提供数据驱动的洞察，优化资源配置，提升公共卫生管理的效率与效果。未来，该框架还可扩展至其他公共健康领域和政策分析中。

📄 摘要（原文）

Human immunodeficiency virus (HIV) is a major public health concern in the United States (U.S.), with about 1.2 million people living with it and about 35,000 newly infected each year. There are considerable geographical disparities in HIV burden and care access across the U.S. The 'Ending the HIV Epidemic (EHE)' initiative by the U.S. Department of Health and Human Services aims to reduce new infections by 90% by 2030, by improving coverage of diagnoses, treatment, and prevention interventions and prioritizing jurisdictions with high HIV prevalence. We develop intelligent decision-support systems to optimize resource allocation and intervention strategies. Existing decision analytic models either focus on individual cities or aggregate national data, failing to capture jurisdictional interactions critical for optimizing intervention strategies. To address this, we propose a multi-agent reinforcement learning (MARL) framework that enables jurisdiction-specific decision-making while accounting for cross-jurisdictional epidemiological interactions. Our framework functions as an intelligent resource optimization system, helping policymakers strategically allocate interventions based on dynamic, data-driven insights. Experimental results across jurisdictions in California and Florida demonstrate that MARL-driven policies outperform traditional single-agent reinforcement learning approaches by reducing new infections under fixed budget constraints. Our study highlights the importance of incorporating jurisdictional dependencies in decision-making frameworks for large-scale public initiatives. By integrating multi-agent intelligent systems, decision analytics, and reinforcement learning, this study advances expert systems for government resource planning and public health management, offering a scalable framework for broader applications in healthcare policy and epidemic management.