MultiPathFormer: Towards a Foundation Model for Multipath Wireless Propagation
作者: Blessed Guda, Kayley Sze, Carlee Joe-Wong
分类: cs.LG, cs.AI, eess.SP
发布日期: 2026-08-05
💡 一句话要点
提出MultiPathFormer以解决无线传播建模问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无线传播 基础模型 机器学习 信道估计 波束预测 定位 多路径传播 环境知识
📋 核心要点
- 现有无线基础模型在信道张量上进行预训练，但未考虑无线传播的物理特性，导致性能不足。
- 本文提出MultiPathFormer，通过将发射器-接收器链路表示为路径标记序列，利用下一个路径预测进行预训练。
- 在多个下游任务中，MultiPathFormer表现出色，平均定位误差为5.57米，波束准确率达到0.914，超越了现有的信道基础模型。
📝 摘要（中文）
近年来，机器学习的进步使得无线基础模型的训练成为可能，这些模型旨在支持基于无线信号的信道估计、波束预测和定位等任务。现有的无线基础模型通常在信道张量上进行预训练，但忽略了无线传播的物理特性。本文提出了MultiPathFormer，一个自回归基础模型，将每个发射器-接收器链路表示为有序的连续值路径标记，并通过下一个路径预测进行预训练。我们引入了环境检索增强生成机制和首路径代码本，利用环境知识改善路径统计估计。MultiPathFormer在27个环境上进行预训练，能够迁移到未见用户，并在特定场景微调后，优于从头训练的模型。实验结果显示，该模型在多个下游任务中超越了现有的信道基础模型。
🔬 方法详解
问题定义：本文旨在解决现有无线基础模型在信道张量预训练时忽略无线传播物理特性的问题，这导致模型在实际应用中的性能不足。
核心思路：提出MultiPathFormer模型，通过将每个发射器-接收器链路表示为有序的路径标记序列，利用下一个路径预测进行预训练，从而更好地捕捉无线传播的特性。
技术框架：MultiPathFormer基于Transformer架构，包含环境检索增强生成机制和首路径代码本，整体流程包括路径标记序列的生成、预训练和微调阶段。
关键创新：引入了环境知识以改善路径统计估计，特别是在延迟和功率方面，提升幅度可达59%。这种路径级预训练方法与传统信道张量预训练方法本质上不同。
关键设计：模型设计中使用了自回归结构，损失函数为下一个路径预测损失，网络结构基于Transformer，关键参数设置经过多次实验优化，以确保模型的有效性和鲁棒性。
🖼️ 关键图片
📊 实验亮点
MultiPathFormer在多个下游任务中表现优异，平均定位误差为5.57米，波束准确率达到0.914，视距分类准确率为0.994，信道估计的归一化均方误差为0.561，显著优于现有的信道基础模型，展示了路径级预训练的有效性。
🎯 应用场景
该研究的潜在应用领域包括无线通信、智能交通系统和物联网等。通过提高无线信号的建模能力，MultiPathFormer能够在复杂环境中实现更精确的信道估计和定位，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Recent advances in machine learning have enabled training of wireless foundation models, which aim to support tasks such as channel estimation, beam prediction, and localization based on wireless signals. Existing wireless foundation models typically pretrain on channel tensors using masked reconstruction over subcarriers, antennas, or time but ignore the physical characteristics of wireless propagation. In this work, we propose to instead use multipath propagation as the fundamental pretraining object. We present MultiPathFormer, an autoregressive foundation model that represents each transmitter-receiver link as an ordered sequence of continuous-valued path tokens and pretrains with next-path prediction. We introduce an Environmental RAG (retrieval-augmented generation) mechanism and a first-path codebook on top of the transformer backbone, leveraging environment knowledge to improve path statistics estimation like delay and power by up to 59%. MultiPathFormer pretrained on 27 environments transfers to unseen users and, after scenario-specific fine-tuning, outperforms training the corresponding models from scratch in new environments. Across downstream tasks, it outperforms SOTA channel-based foundation models, achieving 5.57 m mean localization error, 0.914 top-3 beam accuracy, 0.994 line-of-sight classification accuracy, and 0.561 channel estimation NMSE. These results show that path-level pretraining can learn reusable representations of wireless propagation.