Dual-Attention and Adversarial Transfer Networks for Sim-to-Real Cross-Orientation Wireless Sensing
作者: Linfeng Du, Kehan Wu, Tong Zhang, Rui Wang
分类: cs.CV
发布日期: 2026-08-06
💡 一句话要点
提出双重注意力与对抗转移网络以解决无线传感中的方向变化问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 毫米波识别 双重注意力网络 对抗转移学习 无线传感 模拟器 特征对齐 活动识别
📋 核心要点
- 现有毫米波人类活动识别方法在用户方向变化时性能显著下降，且收集多方向数据成本高昂。
- 本文提出一种物理引导的模拟器，结合双重注意力网络和对抗转移学习，解决方向变化带来的特征变化问题。
- 实验表明，使用双链多方向模拟数据的识别准确率达到88.33%，经过转移学习后提升至95%，超越现有方法。
📝 摘要（中文）
毫米波人类活动识别在用户相对于传感系统的方向变化时性能显著下降，而收集标记的多方向数据既费力又昂贵。为消除对大量多方向测量数据的需求，本文开发了一种物理引导的模拟器，从单一方向运动合成多方向无线训练数据。为抑制方向引起的特征变化，提出了一种双重注意力网络，从双链多普勒频谱中提取活动区分和方向鲁棒的表示。为缩小模拟与现实之间的差距，引入了一种对抗无监督转移学习机制，仅使用少量未标记的目标域样本对齐特征分布。实验结果表明，S2M-Sense平台在重现真实世界信号方面具有高保真度，识别准确率从88.33%提升至95%。
🔬 方法详解
问题定义：本文旨在解决毫米波人类活动识别中，由于用户方向变化导致的性能下降问题。现有方法在处理多方向数据时，往往需要大量标记数据，成本高且效率低。
核心思路：为减少对多方向标记数据的依赖，本文提出了一种物理引导的模拟器，能够从单一方向运动合成多方向无线训练数据。同时，采用双重注意力网络提取鲁棒的特征表示，并通过对抗转移学习缩小模拟与现实之间的差距。
技术框架：整体架构包括三个主要模块：物理引导的模拟器、双重注意力网络和对抗转移学习机制。模拟器生成多方向数据，双重注意力网络提取特征，对抗转移学习则用于对齐目标域特征分布。
关键创新：本文的主要创新在于结合物理模拟与深度学习，提出双重注意力网络以增强特征的方向鲁棒性，并通过对抗学习实现从模拟到现实的有效转移。与现有方法相比，显著降低了对多方向标记数据的需求。
关键设计：在网络结构上，双重注意力网络设计了特定的损失函数以优化特征提取效果，并通过对抗学习机制使用少量未标记样本进行特征对齐，确保了模型在真实场景中的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，S2M-Sense平台在使用双链多方向模拟数据时，识别准确率达到88.33%。经过对抗转移学习后，准确率提升至95%，在所有测试中均优于现有的跨域传感方法，展现出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括智能家居、安防监控和健康监测等场景，能够有效提升毫米波传感器在复杂环境下的活动识别能力。未来，该技术有望推动无线传感技术的普及与应用，降低数据收集成本，提高识别精度。
📄 摘要（原文）
Millimeter-wave human activity recognition suffers significant performance degradation when the user's orientation changes relative to the sensing system, yet collecting labeled multi-orientation data is labor-intensive and costly. To eliminate the need for exhaustive multi-orientation measured data, we develop a physics-guided simulator that synthesizes orientation-diverse wireless training data from single-orientation motion. Specifically, to suppress orientation-induced feature variations, we propose a dual-attention network that extracts activity-discriminative and orientation-robust representations from dual-link Doppler spectrograms. To bridge the simulation-to-reality gap, we introduce an adversarial unsupervised transfer learning mechanism that aligns feature distributions using only a small number of unlabeled target-domain samples. The S2M-Sense platform shows high fidelity in reproducing real-world signatures, validated against 60.48 GHz mmWave measured data with an average structural similarity index measure (SSIM) of 0.84 between simulated and measured Doppler spectrograms across all 4 activities and 4 orientations. Experimental results show that S2M-Sense achieves 88.33% recognition accuracy using only the dual-link multi-orientation simulated dataset, which improves to 95% after simulation-to-reality transfer learning with as few as 16 unlabeled measured samples. Both cases with and without transfer learning outperform state-of-the-art cross-domain sensing methods.