Beyond Relative Geometry: Metric-Aware Geometry Perception for Robotics

📄 arXiv: 2608.27497v1 📥 PDF

作者: Fengjun Zhong, Congjia Chen, Zhaoxu Liu, Jinyang Du, Yuchen Gong, Enqi Mao, Ruihao Gong, ShuJie Wang, Xianglong Liu, Zhongliang Qiao

分类: cs.RO

发布日期: 2026-08-27

备注: 15 pages, 8 figures

💡 一句话要点

提出度量感知几何以解决机器人几何重建不一致问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 几何重建 机器人操作 度量感知 空间推理 深度学习

📋 核心要点

  1. 现有的几何重建方法仅能重建相对几何，导致在不同场景和输入下的物体尺寸和空间距离不一致。
  2. 本文提出度量感知几何（MAGP），通过度量尺度等变增强和灵活的度量条件，确保几何重建遵循真实世界的度量尺度。
  3. 在ETH3D、MegaDepth和ScanNet++等数据集上，MAGP显著提高了重建精度，并在多个机器人策略中提升了性能，最大增幅达到6.26%。

📝 摘要（中文）

近年来，具身模型越来越多地利用几何表示来改善空间推理和机器人操作。然而，现有的重建方法仅重建相对几何，导致预测的物体尺寸和空间距离在不同场景、视角和输入配置下变化。这种不一致性使得几何感知无法与基于真实世界尺度的机器人动作直接对齐。为了解决这一限制，本文提出了度量感知几何（MAGP），这是一个端到端的、即插即用的度量几何重建框架，可以无缝集成到机器人策略中。通过实验验证，MAGP在多个数据集上表现出强大的相对几何准确性，同时将绝对误差降低了一个数量级，从2.01米降至0.07米。

🔬 方法详解

问题定义：本文旨在解决现有几何重建方法无法提供一致的绝对尺度的问题。这些方法通常只重建相对几何，导致在不同场景和输入配置下的物体尺寸和空间距离不一致，影响机器人操作的准确性。

核心思路：论文提出的度量感知几何（MAGP）框架，通过度量尺度等变增强，鼓励模型从相机参数和深度观测中重建度量几何，确保重建的几何遵循观测指定的度量尺度。

技术框架：MAGP框架包括两个主要模块：度量尺度等变增强和灵活的度量条件。前者确保重建几何的尺度一致性，后者支持任意视角和输入组合，提高了对异构机器人传感配置的鲁棒性。

关键创新：MAGP的核心创新在于其度量尺度等变增强机制，使得几何重建不仅关注相对位置，还考虑实际的度量尺度。这与传统方法的本质区别在于，后者通常忽视了绝对尺度的影响。

关键设计：在技术细节上，MAGP采用了特定的损失函数来优化重建的几何一致性，同时设计了适应不同输入配置的网络结构，以提高模型的灵活性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MAGP在ETH3D、MegaDepth和ScanNet++数据集上保持了强大的相对几何准确性，同时将绝对误差从2.01米降低至0.07米。在多个机器人策略中，MAGP的集成显著提升了性能，最大增幅达到6.26%。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、增强现实和虚拟现实等场景。在这些领域，准确的几何感知对于实现高效的空间推理和操作至关重要。未来，MAGP可能会推动机器人在复杂环境中的自主导航和操作能力的提升。

📄 摘要（原文）

Recent embodied models increasingly leverage geometric representations to improve spatial reasoning and robotic manipulation. However, existing reconstruction methods only reconstruct relative geometry with arbitrary scales, causing predicted object dimensions and spatial distances to vary across scenes, viewpoints, and input configurations. This inconsistency prevents geometric perception from being directly aligned with robotic actions defined on the real-world scale. To address this limitation, we propose Metric-Aware Geometry Perception (MAGP), an end-to-end, plug-and-play framework for metric geometry reconstruction that can be seamlessly integrated into robotic policies. At its core, Metric Scale Equivariant Augmentation encourages the model to reconstruct metric geometry from camera parameters and depth observations, ensuring that the reconstructed geometry follows the metric scale specified by observations. Flexible Metric Conditioning further enables MAGP to support arbitrary view counts and combinations of camera and depth inputs, improving robustness to heterogeneous robotic sensing configurations. Together, these designs produce geometrically consistent reconstructions with stable object dimensions and spatial distances across scenes and sensing conditions. Experiments on ETH3D, MegaDepth, and ScanNet++ demonstrate that MAGP maintains strong relative geometry accuracy while reducing the absolute error by over an order of magnitude, from 2.01m to 0.07m. When integrated into multiple robotic policies, MAGP consistently improves performance on LIBERO, RoboTwin, and zero-shot LIBERO-Plus, with gains of up to 6.26% on RoboTwin. These results demonstrate the effectiveness and generalizability of metric geometry for robotic manipulation.