MoSoLoco: Monocular 3D Human Localization through Visual Latent Features and Social Context

📄 arXiv: 2611.03189v1 📥 PDF

作者: Yasamin Borhani, Javad Khoramdel, Yang Gao, Po-Chien Luan, Alexandre Alahi

分类: cs.CV, cs.RO

发布日期: 2026-11-02

💡 一句话要点

提出MoSoLoco以解决单目3D人类定位问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 单目定位 三维人类定位 姿态估计 社交上下文 机器人导航

📋 核心要点

  1. 现有方法通常忽略姿态估计器的丰富视觉特征，导致定位精度不足。
  2. MoSoLoco通过结合姿态检测器的内部特征与2D骨架，提升了单目3D人类定位的准确性。
  3. 在JRDB和NuScenes数据集上的实验显示，MoSoLoco显著降低了定位误差，并在轨迹预测中表现出良好的下游效果。

📝 摘要（中文）

从单目相机估计人类的三维位置对于机器人导航和运动预测至关重要。轻量级的基于姿态的定位器适合计算资源有限的机器人硬件，但通常会丢弃姿态估计器计算的丰富视觉表示。本文提出了MoSoLoco，这是一种逐帧的单目3D人类定位器，结合了姿态检测器的内部视觉特征与检测到的2D骨架，无需额外的RGB或深度编码器。MoSoLoco还可以结合同帧的稀疏多人人际上下文来细化个体位置估计。实验结果表明，重用姿态检测器的表示提高了定位精度，相较于最强的关键点基线，JRDB的误差减少了约23%。

🔬 方法详解

问题定义：本文旨在解决从单目相机估计人类三维位置的挑战。现有方法通常依赖于简单的2D关键点，忽略了姿态估计器提供的丰富视觉信息，导致定位精度不足。

核心思路：MoSoLoco的核心思路是将姿态检测器的内部视觉特征与检测到的2D骨架结合，从而在不需要额外RGB或深度编码器的情况下，提升三维定位的准确性。

技术框架：MoSoLoco的整体架构包括姿态检测模块、特征融合模块和社交交互模块。姿态检测模块提取2D骨架，特征融合模块结合视觉特征和骨架信息，社交交互模块利用同帧的多人人际上下文进行位置细化。

关键创新：MoSoLoco的主要创新在于重用姿态检测器的内部特征，结合社交上下文进行定位。这一方法与传统的关键点基线相比，显著提升了定位精度。

关键设计：在设计中，MoSoLoco采用了轻量级网络结构，优化了损失函数以平衡位置估计和社交交互的影响，确保在Jetson AGX Xavier等资源有限的硬件上高效运行。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，MoSoLoco在JRDB数据集上的定位误差相较于最强的关键点基线减少了约23%。此外，稀疏社交交互模块的引入进一步提升了定位精度，展示了该方法在轨迹预测中的下游效益。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、智能监控和人机交互等。通过提高单目相机下的人类定位精度，MoSoLoco能够在复杂环境中实现更为精确的机器人行为预测和决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Estimating the metric 3D position of people from a monocular camera is important for robot navigation and motion prediction. Lightweight pose-based localizers are attractive for robotic hardware with limited computational resources because they operate on compact 2D keypoints. However, they typically discard the richer visual representations computed by the pose estimator. We introduce MoSoLoco, a per-frame monocular 3D human localizer that combines the pose detector's internal visual features with the detected 2D skeleton, without requiring an additional RGB or depth encoder. MoSoLoco can further incorporate sparse same-frame multi-person context to refine individual position estimates. Experiments on JRDB and NuScenes show that reusing pose-detector representations improves localization, reducing the best JRDB error by approximately 23 percent relative to the strongest evaluated keypoint-based baseline. A sparse social-interaction module incorporates nearby detections from the same image for further refinement. Controlled trajectory-forecasting experiments show downstream benefits, while the complete pipeline remains suitable for efficient Jetson AGX Xavier inference.