Parameter Efficient Hybrid Transformer (PEHT) for Network Traffic Prediction via Dynamic Urban Congestion Integration

📄 arXiv: 2606.28274v1 📥 PDF

作者: Abdolazim Rezaei, Mehdi Sookhak, Mahboobeh Haghparast

分类: cs.LG, cs.AI

发布日期: 2026-06-26

💡 一句话要点

提出PEHT以解决动态城市网络流量预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网络流量预测 混合变换器 城市移动性 拥堵信息 低秩适应 多模态融合 参数效率

📋 核心要点

  1. 现有网络流量预测方法面临复杂的移动模式和用户行为的挑战，导致预测精度不足。
  2. PEHT通过将城市移动性和拥堵信息集成到变换器架构中，采用LoRA技术减少可训练参数，提高预测准确性。
  3. 在Telecom Italia米兰数据集和多个合成拥堵场景下，PEHT在RMSE、MAE和$R^2$等指标上显著优于现有方法。

📝 摘要（中文）

准确的网络流量预测是动态城市蜂窝网络中高效资源分配的关键。然而，由于网络需求受复杂的移动模式、拥堵动态和异构用户行为的影响，预测仍然具有挑战性。本文提出了一种网络流量预测框架——参数高效混合变换器（PEHT），该框架将城市移动性和拥堵信息集成到基于变换器的架构中。PEHT将主要网络通信特征与次要城市移动特征分离，并在变换器编码器中引入低秩适应（LoRA），以减少可训练参数数量，同时保持高预测精度。随后，采用多模态融合策略将外部移动性和拥堵特征注入解码器，以改善流量预测。实验结果表明，PEHT在RMSE、MAE和$R^2$等指标上优于现有的最先进基线。该实现已在GitHub上公开。

🔬 方法详解

问题定义：本文旨在解决动态城市环境中网络流量预测的准确性问题。现有方法在应对复杂的用户行为和拥堵动态时，往往无法提供足够的预测精度。

核心思路：PEHT的核心思路是将城市移动性和拥堵信息有效整合到变换器架构中，通过分离主要和次要特征，并引入LoRA技术，减少模型的可训练参数数量，从而提高预测性能。

技术框架：PEHT的整体架构包括两个主要模块：编码器和解码器。编码器负责提取网络通信特征，并通过LoRA进行参数优化；解码器则通过多模态融合策略，将外部的移动性和拥堵特征注入，以增强预测能力。

关键创新：PEHT的关键创新在于引入了低秩适应（LoRA）技术，使得在保持高预测精度的同时，显著减少了可训练参数的数量。这一设计与传统的变换器模型相比，具有更高的参数效率。

关键设计：在模型设计中，PEHT采用了特征分离策略，确保主要网络特征与次要城市特征的有效融合。此外，损失函数的选择和网络结构的优化也为模型的性能提升提供了保障。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PEHT在Telecom Italia米兰数据集上表现优异，相较于现有最先进基线，RMSE和MAE指标分别降低了XX%和YY%。此外，$R^2$值的提升进一步验证了模型的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、城市规划和移动网络优化等。通过提高网络流量预测的准确性，PEHT能够帮助运营商更有效地分配资源，缓解城市交通拥堵，并提升用户体验。未来，该方法可能在其他动态环境中的流量预测任务中展现出更广泛的应用价值。

📄 摘要（原文）

Accurate network traffic prediction is a critical element for efficient resource allocation in dynamic urban cellular networks. However, prediction remains challenging because network demand is influenced by complex mobility patterns, congestion dynamics, and heterogeneous user behavior. This paper introduces the Parameter-Efficient Hybrid Transformer (PEHT), a network traffic prediction framework that integrates urban mobility and congestion information into a Transformer-based architecture. PEHT separates primary network communication features from secondary urban mobility features and incorporates Low-Rank Adaptation (LoRA) into the Transformer encoder to reduce the number of trainable parameters while maintaining high predictive accuracy. A multimodal fusion strategy then injects external mobility and congestion features into the decoder to improve traffic forecasting. Experiments on the Telecom Italia Milan dataset and multiple synthetic congestion scenarios show that PEHT outperforms state-of-the-art baselines in terms of RMSE, MAE, and $R^2$. The implementation is available in the GitHub repository.