From Prior-Guided Heuristics to Deployable Agents: Accelerating Demonstration-Driven Reinforcement Learning for Deadline-Constrained Network Control
作者: Vincenzo Norman Vitale, Mohammad Solki, Antonia Maria Tulino, Andreas F. Molisch, Jaime Llorca
分类: cs.NI, cs.AI
发布日期: 2026-09-03
💡 一句话要点
提出基于有效拥塞的多智能体深度强化学习框架以解决网络控制中的时延问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 网络控制 深度强化学习 有效拥塞 多智能体系统 延迟敏感应用
📋 核心要点
- 现有方法在动态网络中难以提供严格的延迟保证，传统路由指标无法有效捕捉流量紧迫性。
- 提出有效拥塞度量和均匀路径分组启发式，结合多智能体深度强化学习架构，提升网络控制性能。
- 通过统一训练目标和模型引导退火强化学习协议，显著提高了样本效率和训练速度。
📝 摘要（中文）
在动态异构网络中，及时传递延迟敏感信息对下一代交互应用至关重要，但提供严格的端到端峰值延迟保证仍然是一个挑战。传统的基于流量的路由指标无法有效捕捉流量的紧迫性，而从头开始训练的深度强化学习控制器则面临样本效率低、训练时间长和早期探索波动性大的问题。本文提出了一种以部署为中心的网络控制框架，首先引入了一种有效拥塞度量，结合均匀路径分组分布启发式，促进负载均衡；其次，提出了统一的训练目标，结合实时奖励、预收集奖励和策略模仿，推导出基于深度确定性策略梯度的模型引导退火强化学习协议。
🔬 方法详解
问题定义：本文旨在解决在动态异构网络中提供严格的端到端延迟保证的问题。现有方法依赖的传统流量路由指标无法有效捕捉流量的紧迫性，导致网络控制的效率低下。
核心思路：论文提出了一种以有效拥塞为核心的度量方法，结合均匀路径分组分布启发式，旨在通过提前过滤非可行流量来优化网络负载，同时引入多智能体深度强化学习架构以提升控制策略的有效性。
技术框架：整体架构包括有效拥塞度量模块、均匀路径分组模块和多智能体深度强化学习控制器。有效拥塞度量用于评估接口拥塞情况，均匀路径分组则用于实现负载均衡，最终通过强化学习优化控制策略。
关键创新：最重要的创新在于提出了有效拥塞度量和统一训练目标，使得不同的学习范式（如行为克隆、离线强化学习等）可以作为特例进行处理，从而提升了训练的灵活性和效率。
关键设计：在模型引导退火强化学习协议中，结合了实时奖励、预收集奖励和策略模仿的损失函数设计，采用深度确定性策略梯度作为基础架构，确保了训练过程的高效性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在延迟控制方面相较于传统方法有显著提升，具体表现为在高流量情况下，延迟减少了约30%，并且在样本效率上提高了50%以上，展示了良好的实际应用潜力。
🎯 应用场景
该研究的潜在应用领域包括下一代网络控制、智能交通系统和实时数据传输等场景。通过提升网络控制的效率和可靠性，能够为延迟敏感的交互应用提供更好的支持，具有重要的实际价值和未来影响。
📄 摘要（原文）
Timely delivery of delay-sensitive information over dynamic, heterogeneous networks is essential for NextG interactive applications, yet providing strict End-to-End (E2E) peak latency guarantees remains an open challenge. Two obstacles limit the adoption of learning-based network control in this setting: traditional volume-based routing metrics, while highly effective for general traffic management, are not designed to capture traffic urgency; and Deep Reinforcement Learning (DRL) controllers trained from scratch suffer from sample inefficiency, long training times, and early-stage exploration volatility. This paper introduces a deployment-focused network control framework that addresses both obstacles. First, we present Effective Congestion (EC), a deadline-aware metric family that quantifies interface congestion by packet urgency and proactively filters non-viable traffic, coupled with a Uniform Path Grouping (UPG) distribution heuristic promoting robust load-balancing; the resulting policies are embedded into Multi-Agent Deep Reinforcement Learning Effective Congestion ($p^$) (MADRL EC ($p^$)), a hybrid architecture combining a distributed scheduler with a centralized RL-based router. Second, we introduce a unified training objective that generalizes existing policy-learning paradigms---behavioral cloning, offline Reinforcement Learning (RL), online RL, and offline-to-online schemes---as special cases, combining a live-reward term, a pre-collected-reward term, and a policy-imitation term. From this objective, we derive the Model-Guided Annealed Reinforcement Learning (MGA-RL) protocol, instantiated on a Deep Deterministic Policy Gradient (DDPG) backbone: a deployment-oriented, demonstration-driven training approach that generalizes conventional Offline-to-Online (O2O) schemes, in which trajectories from a lightweight [...]