Visual Anchoring in Diffusion: Multimodal Zero-Shot Skeleton Action Recognition

📄 arXiv: 2608.04623v1 📥 PDF

作者: Zehao Bao, Shujun Guo, Bruce X. B. Yu

分类: cs.CV

发布日期: 2026-08-05

💡 一句话要点

提出多模态生成分类方法以解决零样本骨架动作识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本学习 骨架动作识别 多模态融合 生成模型 去噪网络 视觉锚点 Transformer

📋 核心要点

  1. 现有的多模态方法在处理未见动作时，无法有效利用RGB信息，导致识别准确性不足。
  2. 论文提出通过生成分类范式，利用文本条件的去噪器来评分每个类别，从而实现骨架和RGB的联合条件化。
  3. TDSM-MM在NTU-60/120数据集上取得了最佳的归纳准确率，并在NTU-120 96/24分割上超越了现有的转导最先进方法。

📝 摘要（中文）

零样本骨架动作识别（ZSAR）在未见动作共享相似骨架关节动态但在对象或场景上下文上有所不同的情况下仍然存在模糊性。RGB提供了这些缺失的线索，但现有的多模态方法通常保持独立的骨架和RGB评分分支并融合其输出。本文提出了一种基于生成分类的范式，通过文本条件的去噪器预测添加到骨架特征的噪声来评分每个类别，从而绕过了固定融合权重的问题。我们提出的多模态三元组扩散模型（TDSM-MM）在多个实验中表现出色，超越了现有的最先进方法，表明基于扩散的方法在零样本学习中具有良好的前景。

🔬 方法详解

问题定义：本文旨在解决零样本骨架动作识别中的模糊性问题，现有方法在未见动作的情况下难以有效利用RGB信息，导致识别性能不足。

核心思路：论文提出了一种新的生成分类范式，通过文本条件的去噪器来评分每个类别，允许RGB和文本共同条件化单一的类别评分函数，而不是产生独立的评分。

技术框架：整体架构包括一个文本条件的去噪Transformer和一个非扩散的RGB条件标记，后者在骨架数据重建过程中作为稳定的视觉锚点。

关键创新：最重要的创新点在于通过生成分类的方式解决了固定融合权重的问题，使得模型能够动态适应不同类别对模态的依赖程度。

关键设计：在模型设计中，采用了文本条件的去噪器，并引入了非扩散的RGB条件标记，以增强模型在骨架特征重建时的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，TDSM-MM在NTU-60/120数据集上实现了最佳的归纳准确率，并在NTU-120 96/24分割上达到了71.3%的准确率，超越了现有转导最先进方法69.1%的表现，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能监控、虚拟现实和人机交互等场景，能够有效提升机器对复杂动作的理解能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Zero-shot Skeleton Action Recognition (ZSAR) remains ambiguous when unseen actions share similar skeleton joint dynamics but differ in objects or scene context. RGB provides these missing cues, yet existing multimodal methods typically maintain independent skeleton and RGB scoring branches and fuse their outputs. Without using unlabeled test data for adaptation or fusion calibration, a fixed fusion weight cannot capture class-pair-dependent modality reliability, while an adaptive rule lacks target-side feedback for deciding which branch should dominate. We bypass this weight-selection problem via the classify-by-generation paradigm, where each class is scored by how accurately a text-conditioned denoiser predicts the noise added to the skeleton feature. This formulation separates the progressively corrupted skeleton from fixed conditioning, allowing RGB and text to jointly condition a single class-scoring function rather than produce independent scores. We instantiate this idea as Multimodal Triplet Diffusion for Skeleton-Text Matching (TDSM-MM), augmenting a text-conditioned denoising Transformer with a non-diffused RGB condition token that serves as a stable visual anchor during skeleton data reconstruction. Our proposed TDSM-MM has been ablated via extensive experiments and achieved the best inductive accuracy on three of four NTU-60/120 splits and surpasses the transductive state-of-the-art on NTU-120 96/24 (i.e., 71.3% vs. 69.1%), without test-time adaptation, suggesting that diffusion-based methods can be a promising direction for zero-shot learning.