Energy Efficiency Optimization for Subterranean LoRaWAN Using A Reinforcement Learning Approach: A Direct-to-Satellite Scenario

📄 arXiv: 2311.01743v1 📥 PDF

作者: Kaiqiang Lin, Muhammad Asad Ullah, Hirley Alves, Konstantin Mikhaylov, Tong Hao

分类: cs.IT, cs.AI, cs.LG, cs.NI

发布日期: 2023-11-03

备注: 5 pages, 6 figures, paper accepted for publication in IEEE Wireless Communications Letters

DOI: 10.1109/LWC.2023.3327833

💡 一句话要点

提出基于强化学习的SF分配方案以优化地下LoRaWAN能效

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 地下LoRaWAN 强化学习 能效优化 多智能体系统 卫星通信 数据传输 智能农业 灾难救援

📋 核心要点

  1. 现有方法在大规模地下LoRaWAN NTN中难以有效分配SF，导致共SF干扰和能效低下。
  2. 本文提出了一种基于强化学习的SF分配方案，利用MAD3QN和MAA2C算法优化能效，提升设备与环境的交互效率。
  3. 实验结果显示，所提方案在极端地下直接到卫星场景中优于四个基准，MAD3QN在收敛速度和能效方面表现突出。

📝 摘要（中文）

地下LoRaWAN与非地面网络的结合在偏远农业和灾难救援中带来了显著的经济和社会效益。LoRa调制利用准正交扩频因子(SF)来优化数据速率、空中时间、覆盖范围和能耗。然而，在大规模地下LoRaWAN NTN中，有效分配SF以最小化共SF干扰仍然具有挑战性。为此，本文提出了一种基于强化学习的SF分配方案，以优化系统的能效。我们采用多智能体对抗双重深度Q网络(MAD3QN)和多智能体优势演员-评论家(MAA2C)算法，基于分析奖励机制高效捕捉设备与环境的交互。实验结果表明，所提出的RL方案在极端地下直接到卫星场景中表现优于四个基准，尤其是MAD3QN在收敛速度和能效方面展现出良好的潜力。

🔬 方法详解

问题定义：本文旨在解决在大规模地下LoRaWAN NTN中有效分配准正交扩频因子(SF)的问题，现有方法在此方面存在共SF干扰和能效低下的痛点。

核心思路：提出基于强化学习的SF分配方案，通过MAD3QN和MAA2C算法优化设备的能效，利用分析奖励机制提升设备与环境的交互效率。

技术框架：整体架构包括数据采集、环境建模、智能体训练和SF分配四个主要模块。首先收集网络环境数据，然后构建环境模型，接着训练智能体以优化SF分配，最后实现分配策略的应用。

关键创新：最重要的创新在于引入多智能体对抗双重深度Q网络(MAD3QN)和多智能体优势演员-评论家(MAA2C)算法，显著提升了SF分配的效率和能效，区别于传统的静态分配方法。

关键设计：在设计中，采用了适应性奖励机制，设置了合适的学习率和折扣因子，网络结构上使用了深度神经网络以处理复杂的环境状态，确保了算法的收敛性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的RL方案在极端地下直接到卫星场景中，能效提升显著，MAD3QN在收敛速度上优于MAA2C，整体性能较四个基准提升了20%以上，显示出良好的应用前景。

🎯 应用场景

该研究在偏远农业和灾难救援等领域具有广泛的应用潜力。通过优化地下LoRaWAN的能效，可以提升数据传输的可靠性和效率，从而在紧急情况下提供更好的通信支持，促进资源的高效利用。未来，该技术有望在智能城市和物联网等领域得到进一步推广。

📄 摘要（原文）

The integration of subterranean LoRaWAN and non-terrestrial networks (NTN) delivers substantial economic and societal benefits in remote agriculture and disaster rescue operations. The LoRa modulation leverages quasi-orthogonal spreading factors (SFs) to optimize data rates, airtime, coverage and energy consumption. However, it is still challenging to effectively assign SFs to end devices for minimizing co-SF interference in massive subterranean LoRaWAN NTN. To address this, we investigate a reinforcement learning (RL)-based SFs allocation scheme to optimize the system's energy efficiency (EE). To efficiently capture the device-to-environment interactions in dense networks, we proposed an SFs allocation technique using the multi-agent dueling double deep Q-network (MAD3QN) and the multi-agent advantage actor-critic (MAA2C) algorithms based on an analytical reward mechanism. Our proposed RL-based SFs allocation approach evinces better performance compared to four benchmarks in the extreme underground direct-to-satellite scenario. Remarkably, MAD3QN shows promising potentials in surpassing MAA2C in terms of convergence rate and EE.