LOLLA: Deep Reinforcement Learning for Closed-Loop Link Adaptation Towards a GPU-Accelerated AI-RAN

📄 arXiv: 2606.23110v1 📥 PDF

作者: Rui Wang, Linchao Zhang, Qiang Liu, Kun Yang

分类: eess.SP, cs.LG, cs.NI

发布日期: 2026-06-22

备注: 14 pages, 7 figures

💡 一句话要点

提出LOLLA以解决高动态环境下的链路适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 链路适应 5G NR 高移动性 PPO算法 AI原生控制 吞吐量提升

📋 核心要点

  1. 现有的外环链路适应方法在高动态信道环境下性能显著下降，主要由于其依赖单比特反馈。
  2. LOLLA通过深度强化学习替代传统的OLLA阶梯，利用丰富的遥测数据学习连续的SINR偏移，从而改善链路适应能力。
  3. 实验结果表明，LOLLA在多普勒频率高达400 Hz的情况下，吞吐量提升达15%至92%，并在各可靠性目标上超越传统方法。

📝 摘要（中文）

外环链路适应（OLLA）在5G NR中广泛应用于跟踪信道变化，但在高移动性和快速变化的信道下，其依赖一阶单比特反馈显著降低了性能。本文提出了LOLLA（学习型外环链路适应），一个基于深度强化学习的框架，替代传统OLLA阶梯，通过丰富的物理/媒体接入层遥测条件下学习的连续SINR偏移来调节SINR到MCS查找表，保持符合3GPP标准的MCS选择。通过在拉格朗日块错误率约束下训练的近端策略优化（PPO）策略，自动执行可调的可靠性目标，框架在GPU加速的5G NR堆栈上实现了首个闭环AI原生控制dApp，控制延迟低于500微秒。评估结果显示，在3GPP TDL信道模型下，LOLLA在高达400 Hz的多普勒频率下相较于OLLA实现了15%至92%的吞吐量提升，并在所有评估的可靠性目标上严格主导OLLA。

🔬 方法详解

问题定义：本文旨在解决在高移动性和快速变化信道下，传统外环链路适应（OLLA）因依赖单比特反馈而导致的性能下降问题。

核心思路：LOLLA通过深度强化学习替代传统的OLLA阶梯，学习一个连续的SINR偏移，基于丰富的物理和媒体接入层遥测数据，增强链路适应能力。

技术框架：LOLLA框架包括数据收集、策略学习和链路适应三个主要模块。数据收集模块获取PHY/MAC遥测信息，策略学习模块使用PPO算法在拉格朗日块错误率约束下训练策略，链路适应模块根据学习到的SINR偏移调整MCS选择。

关键创新：LOLLA的主要创新在于使用深度强化学习替代传统的OLLA更新规则，能够在不依赖手动校准的情况下自动调整可靠性目标，显著提升了适应性和性能。

关键设计：在设计中，LOLLA采用了PPO算法进行策略优化，损失函数基于拉格朗日块错误率，网络结构则结合了深度学习技术以处理复杂的遥测数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LOLLA在3GPP TDL信道模型下，相较于传统OLLA在多普勒频率高达400 Hz的情况下，吞吐量提升达15%至92%。此外，LOLLA在各个可靠性目标上均表现出优越的性能，形成了严格主导OLLA的帕累托前沿。

🎯 应用场景

LOLLA的研究成果在5G NR网络中具有广泛的应用潜力，尤其是在高移动性场景下，如自动驾驶、无人机通信等领域。其高效的链路适应能力能够显著提升网络的可靠性和吞吐量，为未来的智能通信系统奠定基础。

📄 摘要（原文）

Outer-loop link adaptation (OLLA) is widely deployed in 5G NR to track channel variations, yet its reliance on first-order, single-bit feedback degrades performance significantly under high-mobility and fast-varying channels. This paper presents LOLLA (Learned Outer-Loop Link Adaptation), a deep reinforcement learning framework that replaces the conventional OLLA staircase with a learned, continuous SINR offset conditioned on rich PHY/MAC telemetry inaccessible to OLLA. The offset modulates the SINR-to-MCS lookup table, preserving 3GPP-compliant MCS selection and provably subsuming the conventional OLLA update rule. A Proximal Policy Optimization (PPO) policy trained under a Lagrangian block error rate (BLER) constraint automatically enforces tunable reliability targets from 1% to 15% without manual penalty calibration. The framework is realized as the first closed-loop AI-native control dApp on a GPU-accelerated 5G NR stack, achieving end-to-end control latencies under 500 microseconds. Evaluations under 3GPP TDL channel models demonstrate 15% to 92% throughput gains over OLLA across Doppler frequencies up to 400 Hz, while attaining a Pareto frontier that strictly dominates OLLA across all evaluated reliability targets. The learned policy generalizes to unseen channel models and scales to eight concurrent UEs under shared-resource scheduling. In the uplink formulation, the gNB directly observes decoding outcomes, enabling simulation-to-deployment parity.