A Decision-Language Model (DLM) for Dynamic Restless Multi-Armed Bandit Tasks in Public Health

📄 arXiv: 2402.14807v4 📥 PDF

作者: Nikhil Behari, Edwin Zhang, Yunfan Zhao, Aparna Taneja, Dheeraj Nagaraj, Milind Tambe

分类: cs.MA, cs.AI, cs.LG

发布日期: 2024-02-22 (更新: 2024-10-25)

期刊: Advances in Neural Information Processing Systems 37 (NeurIPS 2024)

💡 一句话要点

提出决策语言模型以解决公共卫生动态资源分配问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态不安多臂老虎机 决策语言模型 大型语言模型 公共卫生 资源分配优化 政策调整

📋 核心要点

  1. 现有的动态不安多臂老虎机（RMAB）模型在应对公共卫生政策优先级变化时缺乏灵活性，限制了其应用效果。
  2. 本文提出决策语言模型（DLM），利用大型语言模型（LLMs）解读人类政策偏好，并生成适应性奖励函数，以优化RMAB策略。
  3. 通过与ARMMAN的合作，DLM在模拟中展示了其通过人类提示动态调整政策的能力，显著提升了资源分配的有效性。

📝 摘要（中文）

动态不安多臂老虎机（RMAB）在公共卫生领域的资源分配优化中取得了成功，但现有模型缺乏适应不断变化的公共卫生政策优先级的灵活性。本文提出了一种决策语言模型（DLM），利用大型语言模型（LLMs）作为自动化规划工具，能够通过人类语言指令动态调整RMAB政策。DLM的应用展示了如何通过人类提示生成奖励函数，并在基于RMAB的模拟中进行迭代优化。我们与印度非营利组织ARMMAN合作，展示了DLM在优化低资源人群健康工作者分配中的实际应用。通过使用Gemini Pro模型进行的技术演示，DLM能够仅通过人类提示动态塑造政策结果。

🔬 方法详解

问题定义：本文旨在解决动态不安多臂老虎机（RMAB）模型在公共卫生领域中缺乏灵活性的问题，尤其是在应对政策优先级变化时的不足。现有方法无法快速适应新的公共卫生需求，导致资源分配效率低下。

核心思路：论文提出的决策语言模型（DLM）利用大型语言模型（LLMs）作为自动化规划工具，通过人类语言指令动态调整RMAB政策。该方法能够解读人类的政策偏好，生成适应性奖励函数，并在模拟中进行迭代优化。

技术框架：DLM的整体架构包括三个主要模块：首先，解读人类政策偏好提示；其次，生成多代理RMAB环境中的奖励函数代码；最后，基于RMAB模拟反馈迭代优化奖励函数。

关键创新：DLM的核心创新在于将大型语言模型应用于动态调整RMAB策略，突破了传统RMAB模型的静态限制，使其能够实时响应政策变化。与现有方法相比，DLM显著提高了政策适应性和资源分配效率。

关键设计：在DLM的设计中，关键参数包括奖励函数的生成机制和反馈迭代的策略。使用Gemini Pro模型进行模拟时，确保了生成的奖励函数能够有效反映公共卫生领域的实际需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DLM在模拟环境中能够有效地通过人类提示动态调整RMAB政策，显著提高了资源分配的效率。与传统RMAB模型相比，DLM在政策适应性和响应速度上有明显提升，具体性能数据尚未披露。

🎯 应用场景

该研究的潜在应用领域包括公共卫生、资源分配优化和政策制定等。DLM能够为公共卫生机构提供灵活的决策支持，帮助其在资源有限的情况下更有效地分配健康工作者，提升服务质量和效率。未来，DLM的应用可能扩展到其他需要动态决策的领域，如灾害响应和社会服务。

📄 摘要（原文）

Restless multi-armed bandits (RMAB) have demonstrated success in optimizing resource allocation for large beneficiary populations in public health settings. Unfortunately, RMAB models lack flexibility to adapt to evolving public health policy priorities. Concurrently, Large Language Models (LLMs) have emerged as adept automated planners across domains of robotic control and navigation. In this paper, we propose a Decision Language Model (DLM) for RMABs, enabling dynamic fine-tuning of RMAB policies in public health settings using human-language commands. We propose using LLMs as automated planners to (1) interpret human policy preference prompts, (2) propose reward functions as code for a multi-agent RMAB environment, and (3) iterate on the generated reward functions using feedback from grounded RMAB simulations. We illustrate the application of DLM in collaboration with ARMMAN, an India-based non-profit promoting preventative care for pregnant mothers, that currently relies on RMAB policies to optimally allocate health worker calls to low-resource populations. We conduct a technology demonstration in simulation using the Gemini Pro model, showing DLM can dynamically shape policy outcomes using only human prompts as input.