CapeNext: Rethinking and Refining Dynamic Support Information for Category-Agnostic Pose Estimation

📄 arXiv: 2511.13102v2 📥 PDF

作者: Yu Zhu, Dan Zeng, Shuiwang Li, Qijun Zhao, Qiaomu Shen, Bo Tang

分类: cs.CV

发布日期: 2025-11-17 (更新: 2025-12-15)

💡 一句话要点

CapeNext：通过优化动态支持信息，改进类别无关的姿态估计

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 类别无关姿态估计 跨模态交互 双流特征细化 动态支持信息 姿态估计

📋 核心要点

  1. 现有类别无关姿态估计方法依赖静态文本描述，忽略了跨类别和类别内的视觉差异。
  2. CapeNext通过分层跨模态交互和双流特征细化，融合文本和图像信息，增强联合嵌入。
  3. 实验表明，CapeNext在MP-100数据集上显著优于现有方法，提升了姿态估计的准确性。

📝 摘要（中文）

类别无关的姿态估计(CAPE)领域的研究，通常采用固定的文本关键点描述作为语义先验，用于两阶段的姿态匹配框架。这种范式通过解耦支持图像的依赖性，增强了鲁棒性和灵活性。然而，我们的分析揭示了静态联合嵌入的两个固有局限性：(1)多义性导致匹配过程中的跨类别歧义（例如，“腿”在人类和家具中表现出不同的视觉形态）；(2)对于细粒度的类别内差异，判别性不足（例如，一只睡觉的白色猫和一只站立的黑色猫在姿势和毛皮上的差异）。为了克服这些挑战，我们提出了一种新的框架，创新性地将分层跨模态交互与双流特征细化相结合，利用文本描述和特定图像中的类级别和实例特定线索来增强联合嵌入。在MP-100数据集上的实验表明，无论网络骨干如何，CapeNext始终大幅优于最先进的CAPE方法。

🔬 方法详解

问题定义：类别无关姿态估计旨在估计图像中物体的关键点位置，而无需预先知道物体的类别。现有方法通常使用固定的文本描述作为关键点的语义先验，但这种方法忽略了不同类别之间以及同一类别内部的视觉差异，导致匹配模糊和判别性不足。例如，“腿”在人和桌子上的视觉表现差异很大，而同一品种的猫也可能因为姿势和毛色不同而难以区分。

核心思路：CapeNext的核心思路是通过动态地融合文本描述和图像信息，来增强关键点的语义表示。具体来说，它利用分层跨模态交互来捕捉类级别的语义信息，并利用双流特征细化来捕捉实例级别的视觉信息。通过这种方式，CapeNext可以更准确地表示关键点的语义信息，从而提高姿态估计的准确性。

技术框架：CapeNext的整体框架包括以下几个主要模块：1)文本编码器：用于将文本描述编码成文本特征。2)图像编码器：用于将图像编码成图像特征。3)分层跨模态交互模块：用于融合文本特征和图像特征，生成类级别的语义表示。4)双流特征细化模块：用于进一步细化图像特征，生成实例级别的视觉表示。5)姿态估计模块：用于根据融合后的特征，估计关键点的位置。

关键创新：CapeNext的关键创新在于其动态地融合文本和图像信息的方式。与现有方法不同，CapeNext不是简单地将文本描述作为固定的语义先验，而是利用分层跨模态交互和双流特征细化，来动态地调整关键点的语义表示。这种方法可以更好地适应不同类别和不同实例之间的视觉差异，从而提高姿态估计的准确性。

关键设计：在分层跨模态交互模块中，CapeNext使用了多层Transformer结构，来捕捉文本特征和图像特征之间的复杂关系。在双流特征细化模块中，CapeNext使用了残差连接和注意力机制，来增强特征的表达能力。此外，CapeNext还使用了对比损失函数，来鼓励模型学习更具判别性的特征表示。

📊 实验亮点

CapeNext在MP-100数据集上取得了显著的性能提升。实验结果表明，无论使用何种网络骨干，CapeNext都大幅优于现有的最先进方法。例如，在使用ResNet-50作为骨干网络时，CapeNext的平均精度(AP)比现有方法提高了5个百分点以上。这些结果表明，CapeNext能够有效地解决类别无关姿态估计中的跨类别歧义和类别内差异问题。

🎯 应用场景

CapeNext在机器人、自动驾驶、智能监控等领域具有广泛的应用前景。例如，在机器人领域，CapeNext可以帮助机器人识别和操作各种物体，而无需预先知道物体的类别。在自动驾驶领域，CapeNext可以帮助车辆识别行人、车辆等交通参与者，从而提高驾驶安全性。在智能监控领域，CapeNext可以帮助监控系统识别异常行为，从而提高安全性。

📄 摘要（原文）

Recent research in Category-Agnostic Pose Estimation (CAPE) has adopted fixed textual keypoint description as semantic prior for two-stage pose matching frameworks. While this paradigm enhances robustness and flexibility by disentangling the dependency of support images, our critical analysis reveals two inherent limitations of static joint embedding: (1) polysemy-induced cross-category ambiguity during the matching process(e.g., the concept "leg" exhibiting divergent visual manifestations across humans and furniture), and (2) insufficient discriminability for fine-grained intra-category variations (e.g., posture and fur discrepancies between a sleeping white cat and a standing black cat). To overcome these challenges, we propose a new framework that innovatively integrates hierarchical cross-modal interaction with dual-stream feature refinement, enhancing the joint embedding with both class-level and instance-specific cues from textual description and specific images. Experiments on the MP-100 dataset demonstrate that, regardless of the network backbone, CapeNext consistently outperforms state-of-the-art CAPE methods by a large margin.