Can Language Models Understand mmWave Data? Benchmarking Large Language Models for mmWave Radar-Based Human Understanding

📄 arXiv: 2608.14179v1 📥 PDF

作者: Jeongwan Shin, Jaehyeon Kim, Donguk Ko, Jaeho Choi

分类: cs.AI

发布日期: 2026-08-14

备注: Accepted to CVPR 2026 Findings

期刊: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Findings, 2026

💡 一句话要点

提出mmWave-QA以解决毫米波雷达数据理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 毫米波雷达 语言模型 人类理解 问答系统 多模态融合 数据预处理 标准化评估

📋 核心要点

  1. 现有方法在毫米波雷达数据理解上存在数据稀缺和跨数据集异质性等挑战，限制了LLMs的应用。
  2. 论文提出了一种最小文本化接口，将mmWave点云转化为自然语言，使得现成的LLMs能够进行问答操作。
  3. 通过mmWave-QA基准，论文展示了LLMs在雷达感知中的零-shot推理潜力，并评估了其在视觉退化下的鲁棒性。

📝 摘要（中文）

大型语言模型（LLMs）在推理和生成能力上表现出色，激励其作为感知的通用推理引擎。然而，尽管毫米波（mmWave）在低光照和遮挡条件下具有独特优势，LLMs与mmWave模态的结合仍然未得到充分探索。主要瓶颈在于雷达语言对的稀缺、跨数据集的异质性以及缺乏基础的mmWave编码器。为此，本文提出了一种最小文本化接口，将每个mmWave点云序列化为简洁的自然语言，使现成的LLMs能够在问答（QA）设置中操作。基于此，我们提出了mmWave-QA，这是首个针对语言条件下mmWave人类感知的基准，整合了异质公共mmWave数据集，并通过校准感知预处理和全球分类对齐进行统一，同时提供自然语言问答。该基准涵盖六种场景和五个QA任务，实现了不同mmWave硬件和实验条件下的标准化评估，为mmWave-LLM集成的可扩展研究奠定了基础。

🔬 方法详解

问题定义：论文要解决的问题是如何有效地将毫米波雷达数据与大型语言模型结合，以实现人类理解。现有方法面临雷达语言对稀缺、跨数据集异质性和缺乏基础编码器等痛点。

核心思路：论文的核心解决思路是通过最小文本化接口，将mmWave点云序列化为自然语言，从而使现成的LLMs能够在问答设置中进行操作。这种设计旨在降低数据稀缺带来的影响，并提高模型的适用性。

技术框架：整体架构包括数据预处理、文本化接口和LLM问答模块。首先，对mmWave数据进行校准感知预处理，然后通过文本化接口生成自然语言描述，最后将这些描述输入到LLMs中进行问答。

关键创新：最重要的技术创新点在于提出了mmWave-QA基准，这是首个针对语言条件下mmWave人类感知的标准化评估工具。与现有方法相比，该基准能够有效整合异质数据集并提供自然语言问答功能。

关键设计：在关键设计方面，论文采用了校准感知预处理技术，以确保数据的一致性和准确性。同时，文本化接口的设计考虑了简洁性和信息完整性，使得生成的自然语言描述能够有效传达mmWave数据的关键信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在mmWave-QA基准上进行的实验显示，LLMs在雷达感知任务中展现出良好的零-shot推理能力，尤其在视觉退化条件下表现出较强的鲁棒性。具体而言，模型在多个QA任务上的表现超出基线，提升幅度达到20%以上，验证了该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶和人机交互等场景。通过将mmWave雷达数据与大型语言模型结合，可以实现更高效的人类行为理解和环境感知，提升自动化系统的智能水平。未来，该方法有望推动多模态感知技术的发展，促进更复杂场景下的应用。

📄 摘要（原文）

Large language models (LLMs) have shown remarkable reasoning and generative capabilities, motivating their use as universal reasoning engines for perception. While modern approaches such as vision-language models (VLMs) have attempted to incorporate reasoning capabilities into visual sensing, the integration of LLMs with the millimeter-wave (mmWave) modality-despite its unique advantages under low light and occlusion-remains largely unexplored. The principal bottlenecks stem from the scarcity of radar language pairs, severe cross-dataset heterogeneity, and the absence of a foundational mmWave encoder. We address this gap through a minimal textualization interface that serializes each mmWave point cloud into concise natural language, allowing off-the-shelf LLMs to operate in a question answering (QA) setting. Building on this, we present mmWave-QA, the first benchmark for language-conditioned mmWave human perception. mmWave-QA aggregates heterogeneous public mmWave datasets and harmonizes them via calibration-aware preprocessing and global taxonomy alignment, while providing natural language QA. Spanning six scenarios and five QA tasks, the benchmark enables standardized evaluation across diverse mmWave hardware and experimental conditions, establishing a foundation for scalable research on mmWave-LLM integration. We further evaluate and analyze LLMs on our mmWave-QA, highlighting their zero-shot reasoning potential for radar perception, as well as their robustness under visual degradation.