Human Pose Descriptions and Subject-Focused Attention for Improved Zero-Shot Transfer in Human-Centric Classification Tasks

📄 arXiv: 2403.06904v3 📥 PDF

作者: Muhammad Saif Ullah Khan, Muhammad Ferjad Naeem, Federico Tombari, Luc Van Gool, Didier Stricker, Muhammad Zeshan Afzal

分类: cs.CV

发布日期: 2024-03-11 (更新: 2024-10-28)

💡 一句话要点

提出基于LLM的姿态描述以提升人类中心分类任务的零-shot转移能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 姿态识别 零-shot学习 主体聚焦注意力 人类中心分类 多模态学习

📋 核心要点

  1. 现有方法在处理人类中心分类任务时，缺乏有效的姿态描述和主体关注机制，导致性能不足。
  2. 本文提出了一种基于LLM的姿态描述生成方法，并结合FocusCLIP框架，利用SFA提升文本与图像的对齐效果。
  3. 实验结果表明，FocusCLIP在活动识别、年龄分类和情感识别任务上分别提高了3.98%、14.78%和7.06%的准确率，显示出显著的性能提升。

📝 摘要（中文）

本文提出了一种基于大语言模型（LLM）的管道，通过辅助属性创建图像中人体姿态的上下文描述。这一方法促成了MPII姿态描述数据集的创建，包含17367张图像的自然语言注释，涉及410种不同活动。我们展示了姿态描述在使用CLIP进行零-shot人类中心分类中的有效性。此外，我们引入了FocusCLIP框架，该框架在CLIP中结合了主体聚焦注意力（SFA），以改善文本与图像的对齐。我们的模型在MPII姿态描述数据集上进行了预训练，并在五个未见数据集上评估了其零-shot性能。FocusCLIP的表现超越了基线CLIP模型，平均准确率提高了8.61%。

🔬 方法详解

问题定义：本文旨在解决现有方法在零-shot人类中心分类任务中对姿态描述和主体关注的不足，导致分类性能不佳的问题。

核心思路：通过构建基于LLM的姿态描述生成管道，结合FocusCLIP框架中的主体聚焦注意力（SFA），增强文本与图像之间的对齐，从而提升分类效果。

技术框架：整体架构包括姿态描述生成模块和FocusCLIP模块。前者利用辅助属性生成自然语言描述，后者通过SFA优化CLIP模型的文本与图像匹配。

关键创新：最重要的技术创新在于引入了主体聚焦注意力机制，使得模型能够更好地关注与特定主体相关的图像特征，从而提升了零-shot分类的准确性。

关键设计：模型在MPII姿态描述数据集上进行预训练，使用特定的损失函数来优化文本与图像的对齐效果，网络结构上结合了多层次的注意力机制，以增强对姿态信息的捕捉能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FocusCLIP在五个未见数据集上的平均准确率提高了8.61%，在活动识别、年龄分类和情感识别任务上分别提升了3.98%、14.78%和7.06%。这些结果表明，结合详细的姿态描述和主体级指导能够显著增强下游任务的性能。

🎯 应用场景

该研究的潜在应用领域包括智能监控、运动分析和人机交互等。通过提供更准确的姿态识别和分类能力，能够在实际场景中提升系统的智能化水平，具有重要的实际价值和未来影响。

📄 摘要（原文）

We present a novel LLM-based pipeline for creating contextual descriptions of human body poses in images using only auxiliary attributes. This approach facilitates the creation of the MPII Pose Descriptions dataset, which includes natural language annotations for 17,367 images containing people engaged in 410 distinct activities. We demonstrate the effectiveness of our pose descriptions in enabling zero-shot human-centric classification using CLIP. Moreover, we introduce the FocusCLIP framework, which incorporates Subject-Focused Attention (SFA) in CLIP for improved text-to-image alignment. Our models were pretrained on the MPII Pose Descriptions dataset and their zero-shot performance was evaluated on five unseen datasets covering three tasks. FocusCLIP outperformed the baseline CLIP model, achieving an average accuracy increase of 8.61\% (33.65\% compared to CLIP's 25.04\%). Notably, our approach yielded improvements of 3.98\% in activity recognition, 14.78\% in age classification, and 7.06\% in emotion recognition. These results highlight the potential of integrating detailed pose descriptions and subject-level guidance into general pretraining frameworks for enhanced performance in downstream tasks.