HALO: A Heterogeneity-Aware Language-Aligned IMU Foundation Model for Open-Set Human Activity Recognition
作者: Zihan Ding, Liyu Zhang, Xiaomin Ouyang
分类: cs.LG
发布日期: 2026-08-27
💡 一句话要点
提出HALO模型以解决开放集人类活动识别中的异构性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人类活动识别 开放集识别 异构性 自监督学习 软对比学习 IMU模型 多模态学习
📋 核心要点
- 现有HAR方法面临传感器异构性和对未见活动泛化能力不足的挑战，导致模型难以应用于多样化场景。
- HALO模型通过两阶段训练框架，首先进行异构性意识的自监督学习，然后通过软对比学习对齐IMU编码器与文本嵌入。
- 在10个公共数据集上训练后，HALO在8个综合指标上超越五个最先进的基线模型，且在零-shot任务中提升了13.7个百分点。
📝 摘要（中文）
人类活动识别（HAR）利用惯性测量单元（IMUs）具有广泛的应用潜力，但目前缺乏能够在不同主体、设备和活动间泛化的统一模型。本文提出HALO（异构性意识语言对齐开放集模型），通过两阶段训练框架解决了传感器异构性和对未见活动的泛化能力不足的问题。第一阶段采用异构性意识的自监督学习对IMU编码器进行预训练，第二阶段通过同义词意识的软对比学习将IMU编码器与文本嵌入对齐。HALO在10个公共HAR数据集上训练，并在7个保留数据集上评估，表现优于五个最先进的基线模型，且在参数量仅为3500万的情况下，提升了13.7个百分点的零-shot开放集准确率。
🔬 方法详解
问题定义：本文旨在解决开放集人类活动识别中的异构性问题，现有方法在面对不同传感器配置和未见活动时表现不佳，难以实现有效泛化。
核心思路：HALO模型通过两阶段训练框架，首先利用异构性意识的自监督学习对IMU编码器进行预训练，随后通过同义词意识的软对比学习对IMU编码器与文本嵌入进行对齐，从而提升模型的泛化能力。
技术框架：整体架构分为两个阶段：第一阶段进行IMU编码器的预训练，采用自监督学习方法，包括自适应池化标记、通道独立特征提取和上下文传感器条件化；第二阶段则通过软对比学习将IMU编码器与文本嵌入对齐。
关键创新：HALO的主要创新在于引入异构性意识的自监督学习和同义词意识的软对比学习，使得模型能够在开放集环境中有效识别未见活动，显著提高了零-shot识别的准确性。
关键设计：模型使用了约3500万的可训练参数，设计了适应性池化和上下文传感器条件化等技术细节，以确保在不同传感器配置下的有效特征提取。
🖼️ 关键图片
📊 实验亮点
HALO在10个公共HAR数据集上训练，并在7个保留数据集上评估，表现超越五个最先进的基线模型，且在零-shot开放集准确率上提升了13.7个百分点，显示出其在处理异构性和未见活动方面的显著优势。
🎯 应用场景
HALO模型在开放集人类活动识别中具有广泛的应用潜力，能够适应不同的传感器配置和多样化的活动场景。其在智能家居、健康监测和人机交互等领域的应用前景广阔，未来可能推动相关技术的进一步发展与普及。
📄 摘要（原文）
Human Activity Recognition (HAR) using inertial measurement units (IMUs) enables a wide range of applications, yet the field still lacks a unified model that can generalize across diverse subjects, devices, and activities. Training such a model is difficult due to two key challenges: sensing heterogeneity -- differences in sampling rates, channel configurations, and sensor placements -- and poor generalization to unseen activities and label vocabularies. We introduce HALO (Heterogeneity-Aware Language-aligned Open-set model), a domain-specific IMU foundation model that addresses both challenges through a two-stage training framework. Stage 1 pretrains the IMU encoder with heterogeneity-aware self-supervised learning, including adaptive-pooling tokenization, channel-independent feature extraction, and contextualized sensor conditioning that injects natural-language sensor descriptions into each channel embedding. Stage 2 aligns this IMU encoder with text embeddings via synonym-aware soft contrastive learning, enabling open-set recognition via cosine-similarity retrieval without per-dataset classifiers. Trained on 10 public HAR datasets and evaluated on 7 held-out datasets, HALO outperforms five state-of-the-art baselines on all 8 aggregate metrics, and still leads on 3 of 4 settings under baseline-matched inputs. Despite using only ~35M trainable parameters -- 10x fewer than the latest foundation model MOMENT (341.2M) -- HALO improves zero-shot open-set accuracy, measured over all 87 training labels, by 13.7 percentage points. On two further datasets with severe distribution shift, every model including HALO collapses zero-shot. A video demonstration of HALO's performance in real world is available at https://youtu.be/rooVKragtFU