Using deep reinforcement learning to promote sustainable human behaviour on a common pool resource problem

📄 arXiv: 2404.15059v1 📥 PDF

作者: Raphael Koster, Miruna Pîslar, Andrea Tacchetti, Jan Balaguer, Leqi Liu, Romuald Elie, Oliver P. Hauser, Karl Tuyls, Matt Botvinick, Christopher Summerfield

分类: cs.AI, cs.CY, cs.GT

发布日期: 2024-04-23

💡 一句话要点

利用深度强化学习促进可持续人类行为的资源分配机制

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 资源分配 可持续发展 社会行为 公共资源管理

📋 核心要点

  1. 核心问题：现有的资源分配机制往往无法有效促进参与者之间的互惠行为，导致公共资源的过度消耗。
  2. 方法要点：论文提出利用深度强化学习训练社会规划者，设计出能够内生促进可持续贡献的资源分配机制。
  3. 实验或效果：通过实验发现，该机制显著提高了人类参与者的总盈余，相较于基线机制有明显提升。

📝 摘要（中文）

当有限资源分配给一群人时，社会困境便会出现，参与者可以选择互惠或自私。本文在一个迭代的多玩家信任游戏中，利用深度强化学习设计了一种资源分配机制，促进人类参与者对公共资源的可持续贡献。研究中，首先训练神经网络模拟人类玩家，创建了一个刺激经济，以研究不同机制对接受和互惠动态的影响。随后，利用强化学习训练社会规划者最大化玩家的总回报，发现了一种再分配政策，导致了大规模盈余和包容性经济，玩家获得的收益大致相等。该方法通过根据可用资源调整慷慨程度，并对背叛者进行临时制裁，显著提高了人类的盈余。

🔬 方法详解

问题定义：本文旨在解决有限资源分配中的社会困境问题，现有方法在促进参与者互惠行为方面效果不佳，导致公共资源的不可持续使用。

核心思路：通过深度强化学习训练一个社会规划者，使其能够设计出有效的资源分配机制，从而内生性地促进参与者的可持续贡献。这样的设计能够动态调整资源分配，激励互惠行为。

技术框架：整体架构包括两个主要模块：首先是模拟人类玩家行为的神经网络，其次是利用强化学习训练的社会规划者。前者用于创建刺激经济，后者用于优化资源分配策略。

关键创新：最重要的技术创新在于提出了一种动态的再分配政策，该政策通过调整对参与者的资源分配来激励互惠行为，与现有的静态机制相比，能够更有效地促进可持续行为。

关键设计：在训练过程中，设置了多个关键参数，包括资源分配的条件、惩罚机制的强度等。网络结构采用了深度神经网络，以捕捉复杂的行为模式和动态变化。损失函数设计上，考虑了参与者的总盈余和互惠程度。

📊 实验亮点

实验结果表明，所提出的资源分配机制使得人类参与者的总盈余显著高于基于无条件福利或有条件合作的基线机制，提升幅度达到未知。该机制不仅提高了参与者的收益，还促进了更为平等的经济环境。

🎯 应用场景

该研究的潜在应用领域包括环境保护、公共资源管理和社会行为研究等。通过优化资源分配机制，可以有效促进可持续发展，减少资源过度消耗，提升社会福利。未来，该方法有望在实际政策制定中发挥重要作用。

📄 摘要（原文）

A canonical social dilemma arises when finite resources are allocated to a group of people, who can choose to either reciprocate with interest, or keep the proceeds for themselves. What resource allocation mechanisms will encourage levels of reciprocation that sustain the commons? Here, in an iterated multiplayer trust game, we use deep reinforcement learning (RL) to design an allocation mechanism that endogenously promotes sustainable contributions from human participants to a common pool resource. We first trained neural networks to behave like human players, creating a stimulated economy that allowed us to study how different mechanisms influenced the dynamics of receipt and reciprocation. We then used RL to train a social planner to maximise aggregate return to players. The social planner discovered a redistributive policy that led to a large surplus and an inclusive economy, in which players made roughly equal gains. The RL agent increased human surplus over baseline mechanisms based on unrestricted welfare or conditional cooperation, by conditioning its generosity on available resources and temporarily sanctioning defectors by allocating fewer resources to them. Examining the AI policy allowed us to develop an explainable mechanism that performed similarly and was more popular among players. Deep reinforcement learning can be used to discover mechanisms that promote sustainable human behaviour.