A Universal Raw-IQ Radar Encoder for Cross-Sensor Human Sensing
作者: Jonas Leo Mueller, Dario Zanca, Sebastian Hoefler, Jan Petermann, Thomas Altstidl, Naga Venkata Sai Jitin Jami, Emmanuelle Salin, Bjoern M. Eskofier
分类: cs.CV, cs.LG
发布日期: 2026-11-03
备注: Accepted at the 2027 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)
🔗 代码/项目: GITHUB
💡 一句话要点
提出通用原始IQ雷达编码器以解决跨传感器人类感知问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 雷达感知 人类识别 跨传感器 深度学习 无监督学习 卷积神经网络 多普勒谱图
📋 核心要点
- 现有基于雷达的人类感知方法在不同用户和硬件上泛化能力差，导致性能下降。
- 本文提出了一种无标签的卷积beta-VAE模型，通过对原始雷达数据进行预训练，解决了信号处理选择不当的问题。
- 实验结果显示，编码器在多个基准测试中表现优异，尤其在未见用户的情况下，性能提升显著。
📝 摘要（中文）
基于雷达的人类感知通常依赖于针对特定任务训练的端到端模型，这些模型在未见用户、任务和硬件上泛化能力较差。本文认为，微多普勒谱图作为主要信号处理选择并不适合迁移学习，因为它保留了多普勒轴而丢弃了角度轴。我们提出了一种无标签的卷积beta-VAE模型，在经过杂波去除的原始雷达测量数据上进行预训练，涵盖了60GHz和77GHz的四个平台。通过冻结编码器，仅在其嵌入上训练小型监督时序分类器，我们在十个设置中与端到端训练的监督模型和预训练雷达基础模型进行了比较。实验结果表明，在训练中见过的用户和雷达上，编码器在所有五个基准上表现最佳，而在未见用户上，编码器在四个基准中领先三项，提升幅度为4.8到23.2分。
🔬 方法详解
问题定义：本文旨在解决现有雷达信号处理方法在跨用户和硬件上的泛化能力不足的问题，尤其是微多普勒谱图的局限性。
核心思路：我们提出了一种无标签的卷积beta-VAE模型，利用去除杂波的原始雷达测量数据进行预训练，从而避免了传统方法的信号处理选择带来的问题。
技术框架：整体架构包括预训练的卷积beta-VAE编码器和一个小型监督时序分类器。编码器在多个雷达平台上进行训练，分类器则在编码器的嵌入上进行训练。
关键创新：最重要的创新在于通过无标签预训练的方式，构建了一个通用的雷达编码器，显著提高了在未见用户和硬件上的性能。
关键设计：在预训练过程中，采用了统一的光谱插值网格对来自不同平台的雷达数据进行对齐，确保了数据的一致性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在训练中见过的用户和雷达上，编码器在所有五个基准上表现最佳。在未见用户的情况下，编码器在四个基准中领先三项，提升幅度为4.8到23.2分，尤其在步态识别任务中，平均提升达8.3分。
🎯 应用场景
该研究的潜在应用领域包括智能监控、健康监测和人机交互等。通过提高雷达在人类感知任务中的泛化能力，能够在多种环境中实现更高效的用户识别和行为分析，具有重要的实际价值和未来影响。
📄 摘要（原文）
Radar-based human sensing typically relies on end-to-end task-specific models trained on hand-chosen signal projections, which generalize poorly across unseen users, tasks, and hardware. We argue that the dominant signal processing choice, the micro-Doppler spectrogram, is a poor starting point for transfer because it keeps the Doppler axis, which carrier frequency rescales, and discards the angular axis, which carrier frequency leaves unchanged. We instead pretrain a convolutional beta-VAE without labels on clutter-removed raw radar measurements from four platforms spanning 60 and 77 GHz and 4 to 12 virtual antennas, aligned by a unified spectral interpolation grid. For every downstream benchmark the encoder stays frozen, and only a small supervised temporal classifier is trained on its embeddings. We compare against supervised models trained end to end on each benchmark and a pretrained radar foundation model across ten settings covering activity, gesture, sign-language, and gait recognition. When the test users and the radar are seen during training, our encoder is best on all five benchmarks. For users never seen in training, it leads on three of four benchmarks, by 4.8 to 23.2 points. On subject-disjoint gait recognition, it is best for each of the four held-out subjects and 8.3 points above the strongest baseline on average, even though its pretraining excluded every recording of this radar. Excluding the test radar from pretraining costs at most 5.3 points on any benchmark. Code is available at https://github.com/jonasmueler/UniversalRadarEncoder_WACV.