WALoMA: A Multitask Wireless Foundation Model via Adaptive Low-Rank Masked Autoencoders

📄 arXiv: 2607.25763v1 📥 PDF

作者: Madi Makin, Asmaa Abdallah, Abdulkadir Celik, Ahmed M. Eltawil

分类: cs.NI, cs.LG

发布日期: 2026-07-28

💡 一句话要点

提出WALoMA以解决无线数据标注稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无线通信 深度学习 自监督学习 多任务学习 信道估计 低秩适应 掩蔽自编码器

📋 核心要点

  1. 现有的专用深度学习模型在处理无线通信任务时存在局限性，尤其是在标注数据稀缺的情况下。
  2. WALoMA模型通过自适应低秩掩蔽自编码器，利用未标注的信道数据进行学习，减少对标注数据的依赖。
  3. 实验结果表明，WALoMA在多个任务上表现优异，综合得分显著高于基线模型，同时仅使用了较少的参数。

📝 摘要（中文）

本文提出了一种多任务无线基础模型WALoMA，采用自适应低秩掩蔽自编码器，旨在解决专用深度学习模型的局限性及无线数据标注稀缺的实际挑战。该框架通过掩蔽自编码器学习未标注的信道数据，显著减少对大量标注的依赖。模型将无线信道状态信息视为通用模态，通过自监督信道重构学习可迁移的表示。架构创新包括使用二维位置编码以保留天线与子载波之间的空间频率关系，以及低秩适应用于高效的参数微调。实验结果显示，该模型在五个下游任务中表现优异，综合得分达到87.80%，显著优于基线模型59.90%的得分。

🔬 方法详解

问题定义：本文旨在解决专用深度学习模型在无线通信任务中的局限性，尤其是在标注数据稀缺的情况下，导致模型性能受限的问题。

核心思路：WALoMA模型通过自适应低秩掩蔽自编码器，利用未标注的信道状态信息进行自监督学习，从而减少对大量标注数据的依赖，提升模型的通用性和适应性。

技术框架：该框架包括多个模块，首先是掩蔽自编码器用于信道数据的自监督学习，其次是二维位置编码用于保留天线与子载波之间的关系，最后通过低秩适应进行高效的参数微调。

关键创新：最重要的创新在于将无线信道状态信息视为通用模态，并通过自监督学习实现可迁移的表示，显著提升了模型在多任务场景下的表现。

关键设计：模型采用二维位置编码来明确天线和子载波的空间频率关系，同时使用低秩适应技术以实现参数的高效微调，确保在有限标注数据下仍能保持良好的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，WALoMA在五个下游任务中取得了显著的成绩，LoS/NLoS分类得分为96.47%，波束预测为80.45%，信道插值为85.78%，信道估计为99.12%，信道图绘制为77.18%。综合得分达到87.80%，远超基线模型59.90%的得分，同时仅使用了14.68%的参数。

🎯 应用场景

WALoMA模型在无线通信领域具有广泛的应用潜力，特别是在6G无线物理层架构中。其自监督学习的能力使得在缺乏标注数据的情况下，仍能有效进行信道估计、波束预测等任务，具有重要的实际价值和未来影响。

📄 摘要（原文）

This paper proposes a multitask wireless foundation model via adaptive low-rank masked autoencoders (WALoMA), a unified multi-task foundation model for sixth-generation (6G) wireless physical layer architectures, to address the limitations of specialized, task-specific deep learning models and the practical challenge of scarce labeled wireless datasets. By leveraging concepts inspired by foundation models, the proposed framework adopts a masked autoencoder (MAE) paradigm to learn from unlabeled channel data, to significantly reduce reliance on extensive annotations. The model treats wireless channel state information (CSI) as a universal modality and learns transferable representations through self-supervised channel reconstruction. Key architectural novelties include the use of 2D positional encoding (PE) to explicitly preserve the spatial-frequency relationships between antennas and subcarriers, and low-rank adaptation (LoRA) for parameter-efficient fine-tuning. The framework's efficacy is demonstrated across five downstream tasks, achieving individual scores of 96.47\% for LoS/NLoS classification, 80.45\% for beam prediction, 85.78\% for channel interpolation, 99.12\% for channel estimation, and 77.18\% for channel charting. Consequently, numerical results show that the proposed model achieves a composite score of 87.80\%, significantly outperforming the 59.90\% achieved by the large wireless model (LWM) baseline while training an average of only 14.68\% of total parameters, and maintaining strong performance even under extremely limited labeled data conditions.