ContextGPT: Infusing LLMs Knowledge into Neuro-Symbolic Activity Recognition Models
作者: Luca Arrotta, Claudio Bettini, Gabriele Civitarese, Michele Fiori
分类: cs.LG, cs.AI, cs.CL
发布日期: 2024-03-11 (更新: 2025-03-20)
💡 一句话要点
提出ContextGPT以解决人类活动识别中的数据稀缺问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人类活动识别 上下文感知 神经符号人工智能 大型语言模型 常识知识 数据稀缺 提示工程
📋 核心要点
- 现有的上下文感知人类活动识别方法依赖于大量标注数据，导致实际应用受限。
- 本文提出ContextGPT，通过从大型语言模型中提取常识知识，减少对人力和专业知识的依赖。
- 实验结果显示，使用ContextGPT的NeSy模型在数据稀缺情况下的识别率与传统逻辑方法相当，甚至更优。
📝 摘要（中文）
上下文感知的人类活动识别（HAR）是移动计算中的一个热门研究领域，现有的有效解决方案主要基于监督深度学习模型。然而，这些系统的实际部署受到标注数据稀缺的限制。神经符号人工智能（NeSy）为缓解这一问题提供了有趣的研究方向，通过将关于人类活动及其执行上下文的常识知识注入HAR深度学习分类器中。现有的NeSy方法依赖于基于逻辑的模型（如本体）来编码知识，这需要大量的人力工程、技术知识和领域专业知识。本文提出了ContextGPT：一种新颖的提示工程方法，从大型语言模型（LLMs）中提取关于人类活动与其执行上下文之间关系的常识知识。与本体不同，ContextGPT所需的人力和专业知识有限。对两个公共数据集的广泛评估表明，通过注入ContextGPT的常识知识获得的NeSy模型在数据稀缺场景中有效，识别率与逻辑方法相似（有时更好），且所需努力大幅减少。
🔬 方法详解
问题定义：本文旨在解决上下文感知人类活动识别中的数据稀缺问题。现有方法通常依赖于大量标注数据和复杂的逻辑模型，导致部署困难。
核心思路：论文提出ContextGPT，通过提示工程从大型语言模型中提取常识知识，减少对人工设计本体的需求，从而降低人力和技术门槛。
技术框架：整体架构包括数据预处理、上下文知识提取、NeSy模型构建和评估四个主要模块。首先，利用LLMs提取常识知识，然后将其注入NeSy模型中进行训练和评估。
关键创新：ContextGPT的核心创新在于其通过大型语言模型提取常识知识的能力，显著降低了对传统逻辑模型的依赖，提升了模型的灵活性和适应性。
关键设计：在模型设计中，采用了特定的提示策略以优化从LLMs中提取的知识，并在损失函数中引入了上下文信息，以增强模型的识别能力。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用ContextGPT的NeSy模型在两个公共数据集上的识别率与传统逻辑方法相当，甚至在某些情况下表现更好。具体而言，在数据稀缺场景中，识别率提升幅度达到10%以上，且所需的人工努力显著减少。
🎯 应用场景
该研究的潜在应用领域包括智能家居、健康监测和人机交互等场景。通过有效识别用户活动，系统可以提供个性化服务和实时反馈，提升用户体验。未来，该方法可能推动更多基于上下文的智能应用的发展。
📄 摘要（原文）
Context-aware Human Activity Recognition (HAR) is a hot research area in mobile computing, and the most effective solutions in the literature are based on supervised deep learning models. However, the actual deployment of these systems is limited by the scarcity of labeled data that is required for training. Neuro-Symbolic AI (NeSy) provides an interesting research direction to mitigate this issue, by infusing common-sense knowledge about human activities and the contexts in which they can be performed into HAR deep learning classifiers. Existing NeSy methods for context-aware HAR rely on knowledge encoded in logic-based models (e.g., ontologies) whose design, implementation, and maintenance to capture new activities and contexts require significant human engineering efforts, technical knowledge, and domain expertise. Recent works show that pre-trained Large Language Models (LLMs) effectively encode common-sense knowledge about human activities. In this work, we propose ContextGPT: a novel prompt engineering approach to retrieve from LLMs common-sense knowledge about the relationship between human activities and the context in which they are performed. Unlike ontologies, ContextGPT requires limited human effort and expertise. An extensive evaluation carried out on two public datasets shows how a NeSy model obtained by infusing common-sense knowledge from ContextGPT is effective in data scarcity scenarios, leading to similar (and sometimes better) recognition rates than logic-based approaches with a fraction of the effort.