MEOM: Multi-View Expected-OKS Maximization for Human Pose Triangulation

📄 arXiv: 2608.30521v1 📥 PDF

作者: Ziliang Xiong, Henglin Shi, Per-Erik Forssen

分类: cs.CV

发布日期: 2026-08-31

💡 一句话要点

提出MEOM以解决多视角人类姿态三角测量问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人类姿态估计 三角测量 多视角融合 热图处理 最高密度区域 深度学习 计算机视觉

📋 核心要点

  1. 现有方法在处理遮挡和多模态热图时存在不可靠性，导致3D姿态估计的准确性下降。
  2. 论文提出的MEOM方法通过融合多视角热图的概率质量来定位3D关节，提升了姿态估计的准确性。
  3. 在Human3.6M数据集上，模型在有无3D监督的情况下均表现优异，尤其在绝对MPJPE上超越了现有的体积方法。

📝 摘要（中文）

传统的代数三角测量方法通过多视角的2D关键点来解决3D人类姿态估计（HPE）问题。然而，依赖热图解码2D关键点的常规方法在遮挡情况下不可靠，且将热图合并为单一峰值会丢失其空间分布信息。本文提出了一种新的目标函数——多视角期望OKS最大化（MEOM），旨在通过融合不同视角的热图来更准确地估计3D姿态，同时采用最高密度区域（HDR）校准来评估热图的可靠性。实验结果表明，在没有3D监督的情况下，优化后的3D姿态与依赖更大骨干网络的最先进方法相当，而在有3D标签的情况下，模型的端到端训练表现优异。

🔬 方法详解

问题定义：本文旨在解决传统代数三角测量在多视角2D关键点下进行3D人类姿态估计时的不足，特别是在遮挡和多模态热图情况下的不可靠性。

核心思路：提出多视角期望OKS最大化（MEOM）作为新的目标函数，通过融合不同视角的热图来更准确地估计3D姿态，同时使用最高密度区域（HDR）校准来评估热图的可靠性。

技术框架：整体框架包括两个主要部分：一是多视角热图的融合，二是热图可靠性的评估。通过最大化MEOM来优化3D姿态，框架支持有无3D监督的两种设置。

关键创新：MEOM的提出是本文的核心创新点，它通过考虑热图的空间分布而非单一峰值来提高姿态估计的准确性，与传统方法的本质区别在于处理热图的方式。

关键设计：在无3D监督的情况下，使用预训练的热图预测器进行优化；在有3D标签的情况下，结合MEOM和均方误差（MSE）损失进行端到端训练，确保模型在不同条件下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在Human3.6M数据集上，模型在没有3D监督的情况下，优化后的绝对MPJPE达到了19.11毫米，显著优于现有的体积方法，并且在推理成本上仅为其一半，展示了MEOM方法的高效性与准确性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在运动分析、虚拟现实、增强现实和人机交互等领域。通过提高3D姿态估计的准确性，能够更好地支持实时应用和复杂场景下的人体行为理解，推动相关技术的发展与应用。

📄 摘要（原文）

Conventional algebraic triangulation solves 3D human pose estimation (HPE) from multi-view 2D keypoints. The typical approach, decoding 2D keypoints from predicted heatmaps, is unreliable as heatmaps can be multimodal under occlusion, and collapsing them into single peaks discards their spatial distribution. We seek to use the entire heatmap to estimate 3D poses more accurately, which requires solving two problems: how to robustly fuse heatmaps across views, and how to assess the reliability of heatmaps. For the former, we introduce a novel objective, Multi-viewExpected-OKS Maximization (MEOM), that locates a 3D joint where the views agree in probability mass. For the latter, we adopt highest-density-region (HDR) calibration as a diagnostic of that mass, independently of distance-based metrics. The proposed framework covers two settings, with and without 3D supervision. Without 3D supervision, we optimize 3D poses from pretrained heatmap predictors by maximizing MEOM, achieving comparable performance with state-of-the-art methods that rely on larger backbones, temporal fusion, and simulated 3D data. On ambiguous Human3.6M (H36MA) and occluded CMU Panoptic frames, the advantage is substantial. When 3D labels are available, we train the model end-to-end with a combined MEOM and MSE loss, achieving 19.11 mm absolute MPJPE on Human3.6M outperforming the state-of-the-art volumetric approach on absolute MPJPE at half the inference cost.