Zero-Shot Skeleton-Based Action Anticipation

📄 arXiv: 2608.14243v1 📥 PDF

作者: Hongsong Wang, Pengbo Yan, Yang Zhang, Qiuxia Lai

分类: cs.CV

发布日期: 2026-08-14

💡 一句话要点

提出零样本骨架动作预测方法以解决新动作识别问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 零样本学习 骨架动作预测 时空特征提取 互信息最大化 人机交互

📋 核心要点

  1. 现有的骨架动作预测方法假设所有动作类别在训练时都是已知的，限制了其在新动作出现时的适用性。
  2. 本文提出了一种新的零样本骨架动作预测任务，利用有限的早期骨架序列识别未见过的动作类别，增强了模型的泛化能力。
  3. 实验表明，所提出的基线模型在NTU RGB+D数据集上实现了高零样本准确率，证明了其有效性和潜在应用价值。

📝 摘要（中文）

动作预测（AA）旨在从部分观察中识别正在进行的人类或类人动作，使机器人能够在动作完成之前预测意图。尽管基于骨架的AA具有效率优势，但现有方法假设在训练期间所有动作类别都是已知的，这限制了其在现实场景中的应用。为了解决这一问题，本文研究了零样本骨架动作预测（ZS-SkAA）这一新任务，要求仅使用有限的早期骨架序列识别未见过的动作类别。我们提出了一个基线模型，结合时空特征提取器和互信息估计与最大化模块，显著增强了对未见类别的泛化能力。此外，我们还建立了一个基准协议，使用适应于ZS-SkAA评估的NTU RGB+D数据集。实验结果表明，我们的模型在NTU RGB+D上实现了高零样本准确率，奠定了ZS-SkAA作为现实系统中需要泛化到新动作的重要研究方向。

🔬 方法详解

问题定义：本文旨在解决零样本骨架动作预测（ZS-SkAA）任务，现有方法在面对新动作类别时表现不佳，无法有效利用部分观察数据进行预测。

核心思路：通过引入一个基线模型，该模型结合时空特征提取和互信息最大化，显著提升了对未见类别的识别能力，旨在增强模型的泛化性能。

技术框架：整体架构包括时空特征提取器和互信息估计与最大化模块，前者负责提取骨架数据的特征，后者则通过对齐视觉特征与语义类别嵌入，提升模型的识别能力。

关键创新：最重要的创新在于通过互信息的估计与最大化，显著提高了模型在未见类别上的泛化能力，这与传统方法的依赖于已知类别的训练方式有本质区别。

关键设计：模型设计中采用了特定的损失函数来优化互信息的估计，并在网络结构上进行了调整，以确保时空特征的有效提取与对齐。具体的参数设置和网络层次结构在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的模型在NTU RGB+D数据集上实现了显著的零样本准确率，超越了现有基线，证明了其在新动作识别中的有效性和优越性，标志着ZS-SkAA研究方向的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、机器人交互和人机协作等场景，能够帮助系统在面对新动作时进行有效预测，提升系统的智能化水平和适应能力。未来，该方法有望在动态环境中实现更广泛的应用，推动人机交互的进步。

📄 摘要（原文）

Action anticipation (AA) aims to recognize ongoing human or humanoids actions from partial observations, enabling robots to predict intentions before the actions are completed. Although skeleton-based AA offers efficiency advantages, existing approaches assume that all action classes are seen during training, which limits their deployment in real-world scenarios where novel actions inevitably arise. To address this gap, we study the new task of Zero-Shot Skeleton-Based Action Anticipation (ZS-SkAA). This task requires recognizing unseen action classes using only limited early-stage skeleton sequences, combining the challenges of partial observations, temporal dynamics, and zero-shot generalization. To establish foundational research for ZS-SkAA, we introduce:(1) A baseline model comprising a spatio-temporal feature extractor and a mutual information estimation and maximization module. This baseline model explicitly aligns partial visual features with semantic class embeddings across modalities by estimating and maximizing their mutual information, enhancing generalization to unseen classes.(2) A benchmark protocol using the NTU RGB+D dataset, which is adapted for rigorous ZS-SkAA evaluation. Experiments demonstrate the effectiveness of our model as a strong baseline for ZS-SkAA, achieving high zero-shot accuracy on NTU RGB+D. This work establishes ZS-SkAA as a vital research direction for real-world systems requiring generalization to novel actions.