A Tensor Network Implementation of Multi Agent Reinforcement Learning

📄 arXiv: 2401.03896v1 📥 PDF

作者: Sunny Howard

分类: cs.LG, cs.MA

发布日期: 2024-01-08

备注: MSc Thesis

💡 一句话要点

提出张量网络方法以解决多智能体强化学习中的维度诅咒问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 张量网络 多智能体强化学习 维度诅咒 策略优化 信息压缩

📋 核心要点

  1. 多智能体强化学习（MARL）面临维度诅咒问题，现有分布模型难以有效处理多个智能体的轨迹。
  2. 论文提出利用张量网络（TNs）来表示MARL任务的期望回报，并应用优化和分解技术提高表示效率。
  3. 实验结果表明，采用DMRG技术成功优化了策略，并通过精确分解技术显著减少了张量元素数量。

📝 摘要（中文）

最近的研究表明，张量网络（TNs）能够有效表示单智能体有限马尔可夫决策过程（FMDP）的期望回报。然而，在多智能体环境中，分布模型面临维度诅咒，即可能轨迹数量与智能体数量之间的指数关系。利用TNs的优势在于可以应用多种优化和分解技术，以确保找到最有效的表示。本文中，作者利用这些方法构建了一个表示多智能体强化学习（MARL）任务期望回报的TNs模型，并在一个包含两个智能体的随机行走者示例中验证了该策略的优化效果，采用了DMRG技术。最后，作者展示了一种精确的分解技术，使张量元素数量减少了97.5%，且没有信息损失。

🔬 方法详解

问题定义：论文要解决多智能体强化学习中的维度诅咒问题，现有方法在处理多个智能体的轨迹时效率低下，难以有效表示期望回报。

核心思路：论文提出利用张量网络（TNs）构建多智能体环境的期望回报模型，通过应用特定的优化和分解技术来提高表示的效率和准确性。

技术框架：整体架构包括构建TNs模型、应用DMRG优化技术以及实施精确分解技术。主要模块包括模型构建、策略优化和信息压缩。

关键创新：最重要的技术创新在于通过张量网络有效表示多智能体的期望回报，并利用精确分解技术大幅减少张量元素数量，解决了维度诅咒问题。

关键设计：在模型中，采用了特定的损失函数以优化策略，设计了适应多智能体环境的网络结构，并通过参数调节实现了高效的张量表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用DMRG技术成功优化了策略，并通过精确分解技术将张量元素数量减少了97.5%，在保持信息完整性的同时显著提高了计算效率。这一成果为多智能体强化学习提供了新的解决方案。

🎯 应用场景

该研究的潜在应用领域包括多智能体系统的协作任务、智能交通管理、机器人群体控制等。通过优化多智能体的决策过程，能够显著提升系统的整体效率和智能化水平，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Recently it has been shown that tensor networks (TNs) have the ability to represent the expected return of a single-agent finite Markov decision process (FMDP). The TN represents a distribution model, where all possible trajectories are considered. When extending these ideas to a multi-agent setting, distribution models suffer from the curse of dimensionality: the exponential relation between the number of possible trajectories and the number of agents. The key advantage of using TNs in this setting is that there exists a large number of established optimisation and decomposition techniques that are specific to TNs, that one can apply to ensure the most efficient representation is found. In this report, these methods are used to form a TN that represents the expected return of a multi-agent reinforcement learning (MARL) task. This model is then applied to a 2 agent random walker example, where it was shown that the policy is correctly optimised using a DMRG technique. Finally, I demonstrate the use of an exact decomposition technique, reducing the number of elements in the tensors by 97.5%, without experiencing any loss of information.