Risk-Sensitive Multi-Agent Reinforcement Learning in Network Aggregative Markov Games

📄 arXiv: 2402.05906v1 📥 PDF

作者: Hafez Ghaemi, Hamed Kebriaei, Alireza Ramezani Moghaddam, Majid Nili Ahamdabadi

分类: cs.LG, cs.AI, cs.MA

发布日期: 2024-02-08

💡 一句话要点

提出风险敏感的多智能体强化学习以解决网络聚合马尔可夫博弈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 风险敏感性 累积前景理论 马尔可夫博弈 社会偏好 损失厌恶 分布式算法

📋 核心要点

  1. 现有的多智能体强化学习方法通常假设智能体是风险中立的，无法处理实际应用中存在的风险敏感性问题。
  2. 本文提出了一种基于累积前景理论的分布式嵌套CPT-AC算法，旨在解决网络聚合马尔可夫博弈中的风险敏感性问题。
  3. 实验结果显示，使用CPT策略的智能体在决策上与风险中立策略存在显著差异，且损失厌恶的智能体更倾向于社会隔离。

📝 摘要（中文）

传统的多智能体强化学习（MARL）假设智能体是风险中立且完全客观的。然而，在需要考虑人类经济或社会偏好的场景中，必须将风险纳入强化学习优化问题。本文考虑了风险敏感的非合作MARL，采用累积前景理论（CPT），这是一种非凸风险度量，能够解释人类的损失厌恶及其对小概率和大概率的过高/低估。我们提出了一种基于分布式采样的演员-评论家（AC）算法，称为分布式嵌套CPT-AC，适用于网络聚合马尔可夫博弈（NAMGs）。在一系列假设下，我们证明了该算法收敛到NAMGs中的主观马尔可夫完美纳什均衡。实验结果表明，通过我们的算法获得的主观CPT策略与风险中立策略存在差异，且损失厌恶程度较高的智能体更倾向于在NAMG中社会隔离。

🔬 方法详解

问题定义：本文旨在解决传统多智能体强化学习在面对风险时的不足，尤其是在涉及人类经济和社会偏好的场景中，现有方法无法有效建模风险敏感性。

核心思路：通过引入累积前景理论（CPT），本文提出了一种新的风险敏感MARL框架，能够更好地反映智能体在决策过程中的风险偏好。

技术框架：该方法采用分布式采样的演员-评论家（AC）架构，主要包括策略网络和价值网络两个模块，利用CPT来评估风险并指导智能体的学习过程。

关键创新：本文的主要创新在于将CPT引入到MARL中，形成了一种新的风险度量方式，能够捕捉智能体的损失厌恶特性，与传统的风险中立方法相比，提供了更为细致的决策依据。

关键设计：在算法设计中，关键参数包括损失厌恶系数和CPT的风险评估函数，网络结构采用深度神经网络以提高策略和价值函数的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用分布式嵌套CPT-AC算法的智能体在NAMGs中表现出明显的优势，尤其是在损失厌恶较高的情况下，智能体的社会隔离倾向显著增强。与传统风险中立策略相比，CPT策略在决策质量上有显著提升，具体性能数据待进一步验证。

🎯 应用场景

该研究的潜在应用领域包括金融决策、市场竞争分析和社会网络中的智能体交互等。通过考虑风险敏感性，智能体能够在复杂环境中做出更符合人类行为的决策，从而提升系统的整体效能和适应性。

📄 摘要（原文）

Classical multi-agent reinforcement learning (MARL) assumes risk neutrality and complete objectivity for agents. However, in settings where agents need to consider or model human economic or social preferences, a notion of risk must be incorporated into the RL optimization problem. This will be of greater importance in MARL where other human or non-human agents are involved, possibly with their own risk-sensitive policies. In this work, we consider risk-sensitive and non-cooperative MARL with cumulative prospect theory (CPT), a non-convex risk measure and a generalization of coherent measures of risk. CPT is capable of explaining loss aversion in humans and their tendency to overestimate/underestimate small/large probabilities. We propose a distributed sampling-based actor-critic (AC) algorithm with CPT risk for network aggregative Markov games (NAMGs), which we call Distributed Nested CPT-AC. Under a set of assumptions, we prove the convergence of the algorithm to a subjective notion of Markov perfect Nash equilibrium in NAMGs. The experimental results show that subjective CPT policies obtained by our algorithm can be different from the risk-neutral ones, and agents with a higher loss aversion are more inclined to socially isolate themselves in an NAMG.