CrossGLG: LLM Guides One-shot Skeleton-based 3D Action Recognition in a Cross-level Manner

📄 arXiv: 2403.10082v1 📥 PDF

作者: Tingbing Yan, Wenzheng Zeng, Yang Xiao, Xingyu Tong, Bo Tan, Zhiwen Fang, Zhiguo Cao, Joey Tianyi Zhou

分类: cs.CV

发布日期: 2024-03-15

💡 一句话要点

提出CrossGLG以解决一-shot骨架动作识别中的信息损失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 骨架动作识别 一-shot学习 大型语言模型 特征学习 深度学习 智能监控 人机交互

📋 核心要点

  1. 现有的一-shot骨架动作识别方法过于依赖低层次信息，导致局部信息丢失和泛化能力不足。
  2. 本文提出利用大型语言模型生成的文本描述，采用全球-局部-全球的方式指导特征学习，从而提升识别效果。
  3. CrossGLG在多个基准测试中表现优异，推理成本低，能够作为插件模块增强现有骨架编码器的性能。

📝 摘要（中文）

现有的一-shot骨架动作识别方法主要集中在低层次信息（如关节位置），容易导致局部信息丢失和泛化能力不足。为此，本文提出了一种利用大型语言模型（LLM）生成的文本描述来指导特征学习的方法，采用全球-局部-全球的方式进行训练。具体而言，我们设计了两个提示，从LLM获取每个动作的全球和局部文本描述。首先，利用全球文本描述引导骨架编码器关注信息丰富的关节（即全球到局部）。然后，通过局部文本与关节特征之间的非局部交互，形成最终的全球表示（即局部到全球）。实验结果表明，CrossGLG在三个基准测试上均显著超越现有最先进方法，且推理成本仅为之前方法的2.8%。

🔬 方法详解

问题定义：本文旨在解决现有的一-shot骨架动作识别方法中信息损失和泛化能力不足的问题。现有方法主要依赖低层次的关节位置数据，容易导致局部信息的丢失。

核心思路：论文提出通过大型语言模型生成的文本描述来指导特征学习，采用全球-局部-全球的结构设计，使模型能够更好地捕捉动作的全局和局部特征。

技术框架：整体架构包括两个主要阶段：首先使用全球文本描述引导骨架编码器关注重要关节，然后通过局部文本与关节特征的非局部交互形成最终的全球表示。此外，设计了双分支架构以解决训练和推理阶段的不对称性。

关键创新：最重要的创新在于利用LLM生成的文本描述来增强特征学习的指导性，形成全球-局部-全球的特征提取流程，这与传统方法的单一低层次特征提取方式有本质区别。

关键设计：在模型设计中，采用了双分支架构以支持无文本输入的推理，同时确保推理成本相较于基础骨架编码器可忽略不计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个不同的基准测试中，CrossGLG均显著超越现有的最先进方法，提升幅度可达数个百分点。同时，其推理成本仅为之前方法的2.8%，显示出良好的效率和实用性。

🎯 应用场景

该研究在动作识别领域具有广泛的应用潜力，尤其是在智能监控、虚拟现实和人机交互等场景中。通过提升一-shot学习的效果，CrossGLG能够在数据稀缺的情况下实现高效的动作识别，具有重要的实际价值和未来影响。

📄 摘要（原文）

Most existing one-shot skeleton-based action recognition focuses on raw low-level information (e.g., joint location), and may suffer from local information loss and low generalization ability. To alleviate these, we propose to leverage text description generated from large language models (LLM) that contain high-level human knowledge, to guide feature learning, in a global-local-global way. Particularly, during training, we design $2$ prompts to gain global and local text descriptions of each action from an LLM. We first utilize the global text description to guide the skeleton encoder focus on informative joints (i.e.,global-to-local). Then we build non-local interaction between local text and joint features, to form the final global representation (i.e., local-to-global). To mitigate the asymmetry issue between the training and inference phases, we further design a dual-branch architecture that allows the model to perform novel class inference without any text input, also making the additional inference cost neglectable compared with the base skeleton encoder. Extensive experiments on three different benchmarks show that CrossGLG consistently outperforms the existing SOTA methods with large margins, and the inference cost (model size) is only $2.8$\% than the previous SOTA. CrossGLG can also serve as a plug-and-play module that can substantially enhance the performance of different SOTA skeleton encoders with a neglectable cost during inference. The source code will be released soon.