Camera-to-Quadruped Robot Pose Estimation from Sequential Images

📄 arXiv: 2610.36599v1 📥 PDF

作者: Seobin Hwang, Ji-Seong Beom, Yeong-Jun Cho

分类: cs.RO, cs.CV

发布日期: 2026-10-27

备注: 17 pages, 8 figures, 6 tables

💡 一句话要点

提出QuadPose以解决四足机器人姿态估计问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 四足机器人 姿态估计 单目视频 深度学习 基准测试 实时处理 关键点检测

📋 核心要点

  1. 四足机器人姿态估计面临关节变化、对称性和自遮挡等挑战，现有方法难以准确对应关键点。
  2. 本文提出QuadPose，通过单目视频序列估计四足机器人的全身姿态，解决了关键点对应模糊的问题。
  3. 在QuadSyn基准上，QuadPose在多个指标上表现优异，显著提升了姿态估计的准确性和实时性。

📝 摘要（中文）

四足机器人在灾害响应和设施检查等危险环境中的应用日益增多，外部相机监控对其安全操作至关重要。然而，由于四足机器人关节的时间变化、腿部对称性以及频繁的自遮挡，关键点对应关系变得模糊。此外，缺乏公共基准使得定量比较变得困难。为了解决这些挑战，本文提出了QuadPose，它能够从单目视频序列中估计全身18自由度的姿态（6自由度的基础姿态加上12自由度的关节角度），并引入了QuadSyn，这是第一个相机到四足机器人姿态的基准。在QuadSyn上，QuadPose达到了92.18%的PCK@2.5px、95.54%的PCK-AUC、85.94%的ADD@20cm、66.98%的ADD-AUC，以及约33 FPS下的3.65度平均关节角误差。

🔬 方法详解

问题定义：本文旨在解决四足机器人在动态环境中姿态估计的困难，现有方法在处理关节变化和自遮挡时表现不佳，导致关键点对应关系模糊。

核心思路：QuadPose通过分析单目视频序列，结合时间序列信息，准确估计四足机器人的全身姿态，克服了传统方法的局限性。

技术框架：QuadPose的整体架构包括数据预处理、特征提取、姿态估计和后处理四个主要模块。数据预处理负责视频帧的提取和增强，特征提取模块利用卷积神经网络提取关键特征，姿态估计模块则通过回归网络输出姿态，最后进行后处理以优化结果。

关键创新：本文的主要创新在于引入了QuadSyn基准，提供了一个标准化的测试平台，并且QuadPose在姿态估计中实现了高精度和高帧率的结合，显著提升了估计的准确性。

关键设计：在模型设计上，QuadPose采用了多层卷积网络和时序信息融合，损失函数设计上结合了关键点位置和角度误差，确保了模型的鲁棒性和准确性。具体参数设置和网络结构在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在QuadSyn基准上，QuadPose取得了92.18%的PCK@2.5px和95.54%的PCK-AUC，显示出其在姿态估计方面的卓越性能。此外，QuadPose在约33 FPS的速度下实现了3.65度的平均关节角误差，显著提升了实时性和准确性。

🎯 应用场景

该研究的潜在应用领域包括灾害响应、设施检查和其他危险环境中的机器人操作。通过提高四足机器人的姿态估计精度，可以显著增强其在复杂环境中的自主导航和任务执行能力，未来可能推动机器人在更多领域的应用。

📄 摘要（原文）

Quadruped robots are increasingly deployed in hazardous environments such as disaster response and facility inspection, where external-camera monitoring is essential for safe operation. This setting is challenging because quadrupeds are articulated systems with time-varying leg joints, leg symmetry, and frequent self-occlusions, which make keypoint correspondence ambiguous. Moreover, no public benchmark exists, making quantitative comparison difficult. To address these challenges, we propose QuadPose, which estimates the full-body 18-DoF pose (6-DoF base pose + 12-DoF joint angles) from monocular video sequences, and introduce QuadSyn, the first camera-to-quadruped robot pose benchmark. On QuadSyn, QuadPose achieves 92.18% PCK@2.5px, 95.54% PCK-AUC, 85.94% ADD@20cm, 66.98% ADD-AUC, and 3.65 degree mean joint-angle error at approximately 33 FPS.