IMUGPT 2.0: Language-Based Cross Modality Transfer for Sensor-Based Human Activity Recognition

📄 arXiv: 2402.01049v1 📥 PDF

作者: Zikang Leng, Amitrajit Bhattacharjee, Hrudhai Rajasekhar, Lizhe Zhang, Elizabeth Bruda, Hyeokhyen Kwon, Thomas Plötz

分类: cs.CV

发布日期: 2024-02-01

💡 一句话要点

提出IMUGPT 2.0以解决人类活动识别中的数据稀缺问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人类活动识别 跨模态迁移 生成性AI 虚拟IMU数据 多样性度量 运动过滤器 数据稀缺

📋 核心要点

  1. 核心问题：人类活动识别面临数据稀缺的挑战，现有模型难以开发出鲁棒且可泛化的性能。
  2. 方法要点：提出IMUGPT 2.0，通过语言驱动的跨模态迁移，结合运动过滤器和多样性度量来优化虚拟IMU数据生成。
  3. 实验或效果：实验表明，使用多样性度量可以将虚拟IMU数据生成的工作量减少至少50%，提升了实用性。

📝 摘要（中文）

在人类活动识别（HAR）领域，缺乏大规模标注数据集是主要挑战之一，限制了模型的鲁棒性和泛化能力。近期，跨模态迁移方法被提出以缓解数据稀缺问题，通过将现有数据集从源模态（如视频）转换为目标模态（如IMU）。随着生成性AI模型的出现，语言作为一种数据模态展现出潜力。本文对基于语言的跨模态迁移进行了大规模评估，提出了IMUGPT的两个新扩展：运动过滤器和多样性度量，前者确保生成的虚拟IMU数据的相关性，后者减少了生成虚拟IMU数据的工作量至少50%。

🔬 方法详解

问题定义：本文旨在解决人类活动识别中的数据稀缺问题。现有方法依赖于大量标注数据，导致模型在实际应用中表现不佳。

核心思路：论文提出IMUGPT 2.0，通过利用语言作为数据源，进行跨模态迁移，从而生成虚拟IMU数据。设计运动过滤器以确保生成数据的相关性，并引入多样性度量以优化生成过程。

技术框架：整体架构包括数据源（语言）、生成模块（IMUGPT 2.0）、运动过滤器和多样性度量模块。首先，通过语言生成运动数据，然后通过过滤器筛选相关数据，最后使用多样性度量评估生成效果。

关键创新：最重要的创新在于引入了运动过滤器和多样性度量，这两者显著提升了虚拟IMU数据的生成效率和质量，与传统方法相比，减少了生成过程中的冗余数据。

关键设计：在设计中，运动过滤器通过特定算法筛选运动序列，确保生成数据的有效性；多样性度量则通过统计生成数据的多样性，帮助决定何时停止生成，优化了处理效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，IMUGPT 2.0的多样性度量能够将虚拟IMU数据生成的工作量减少至少50%。这一显著提升使得IMUGPT 2.0不仅是一个概念验证工具，更具备了实际应用的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能家居、健康监测和人机交互等场景。通过提高人类活动识别的准确性和效率，IMUGPT 2.0能够在实际应用中提供更好的用户体验，推动相关技术的发展与应用。

📄 摘要（原文）

One of the primary challenges in the field of human activity recognition (HAR) is the lack of large labeled datasets. This hinders the development of robust and generalizable models. Recently, cross modality transfer approaches have been explored that can alleviate the problem of data scarcity. These approaches convert existing datasets from a source modality, such as video, to a target modality (IMU). With the emergence of generative AI models such as large language models (LLMs) and text-driven motion synthesis models, language has become a promising source data modality as well as shown in proof of concepts such as IMUGPT. In this work, we conduct a large-scale evaluation of language-based cross modality transfer to determine their effectiveness for HAR. Based on this study, we introduce two new extensions for IMUGPT that enhance its use for practical HAR application scenarios: a motion filter capable of filtering out irrelevant motion sequences to ensure the relevance of the generated virtual IMU data, and a set of metrics that measure the diversity of the generated data facilitating the determination of when to stop generating virtual IMU data for both effective and efficient processing. We demonstrate that our diversity metrics can reduce the effort needed for the generation of virtual IMU data by at least 50%, which open up IMUGPT for practical use cases beyond a mere proof of concept.