HARGPT: Are LLMs Zero-Shot Human Activity Recognizers?

📄 arXiv: 2403.02727v1 📥 PDF

作者: Sijie Ji, Xinzhe Zheng, Chenshu Wu

分类: cs.CL, cs.AI, cs.HC

发布日期: 2024-03-05

💡 一句话要点

提出HARGPT以解决零-shot人类活动识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人类活动识别 零-shot学习 IMU数据 智能系统

📋 核心要点

  1. 现有方法在处理原始IMU数据进行人类活动识别时，通常依赖于特定的训练数据和模型，缺乏灵活性。
  2. 论文提出HARGPT，通过适当的提示使LLMs能够在零-shot情况下理解和识别原始IMU数据中的人类活动。
  3. 实验结果表明，HARGPT在两个公共数据集上均优于传统机器学习和深度学习基线，展示了LLMs在活动识别中的潜力。

📝 摘要（中文）

目前关于大型语言模型（LLMs）作为基础模型在网络物理系统（CPS）中解读物理世界的潜力仍存在争议。本文通过案例研究探讨LLMs是否能够实现零-shot人类活动识别（HAR）。研究表明，LLMs能够理解原始IMU数据并在仅通过适当提示的情况下执行HAR任务。HARGPT将原始IMU数据输入LLMs，并利用角色扮演和逐步思考的提示策略。我们在GPT4上对HARGPT进行了基准测试，使用了两个具有不同类间相似度的公共数据集，并与传统机器学习和最先进深度分类模型的多种基线进行了比较。结果显示，LLMs成功识别原始IMU数据中的人类活动，并在两个数据集上均优于所有基线。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在零-shot人类活动识别中的应用问题。现有方法通常依赖于大量标注数据，限制了其在新环境中的适应性。

核心思路：HARGPT利用LLMs的知识基础，通过设计合适的提示策略，使其能够理解和处理原始IMU数据，从而实现零-shot识别。

技术框架：HARGPT的整体架构包括数据输入模块、提示生成模块和活动识别模块。原始IMU数据首先被输入到LLMs中，然后通过角色扮演和逐步思考的策略生成提示，最后进行活动识别。

关键创新：HARGPT的主要创新在于将LLMs应用于零-shot人类活动识别，展示了其在理解原始传感器数据方面的能力，与传统方法相比，显著提高了识别的灵活性和准确性。

关键设计：在提示生成中，采用了角色扮演和逐步思考的策略，以增强LLMs对复杂数据的理解能力。实验中使用了GPT4，并在两个不同特征的数据集上进行了基准测试。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，HARGPT在两个公共数据集上均超越了所有基线模型，证明了LLMs在零-shot人类活动识别中的有效性。具体而言，LLMs在识别准确率上提升幅度达到XX%，展现了其在处理原始IMU数据方面的强大能力。

🎯 应用场景

该研究的潜在应用领域包括智能家居、健康监测和人机交互等场景。通过有效识别人类活动，HARGPT能够为智能系统提供更准确的上下文理解，从而提升用户体验和系统响应能力。未来，随着传感器技术的发展，HARGPT有望在更多实际应用中发挥重要作用。

📄 摘要（原文）

There is an ongoing debate regarding the potential of Large Language Models (LLMs) as foundational models seamlessly integrated with Cyber-Physical Systems (CPS) for interpreting the physical world. In this paper, we carry out a case study to answer the following question: Are LLMs capable of zero-shot human activity recognition (HAR). Our study, HARGPT, presents an affirmative answer by demonstrating that LLMs can comprehend raw IMU data and perform HAR tasks in a zero-shot manner, with only appropriate prompts. HARGPT inputs raw IMU data into LLMs and utilizes the role-play and think step-by-step strategies for prompting. We benchmark HARGPT on GPT4 using two public datasets of different inter-class similarities and compare various baselines both based on traditional machine learning and state-of-the-art deep classification models. Remarkably, LLMs successfully recognize human activities from raw IMU data and consistently outperform all the baselines on both datasets. Our findings indicate that by effective prompting, LLMs can interpret raw IMU data based on their knowledge base, possessing a promising potential to analyze raw sensor data of the physical world effectively.