Calib3R: A 3D Foundation Model for Multi-Camera to Robot Calibration and 3D Metric-Scaled Scene Reconstruction

📄 arXiv: 2509.08813v1 📥 PDF

作者: Davide Allegro, Matteo Terreran, Stefano Ghidoni

分类: cs.RO

发布日期: 2025-09-10

💡 一句话要点

Calib3R：基于3D基础模型的多相机-机器人联合标定与尺度重建

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 相机标定 机器人标定 3D重建 尺度恢复 无标定板

📋 核心要点

  1. 现有相机-机器人标定和3D重建方法通常独立处理，且依赖标定板或产生尺度未知的重建结果。
  2. Calib3R利用3D基础模型提取点云，并结合机器人位姿，通过统一优化实现无标定板的联合标定和尺度重建。
  3. 实验表明，Calib3R仅需少量图像即可实现高精度标定，性能优于现有无目标和基于marker的方法。

📝 摘要（中文）

机器人通常依赖RGB图像进行操作和导航等任务。然而，可靠的交互通常需要一个与机器人参考系对齐的、具有真实尺度的3D场景表示。这依赖于精确的相机-机器人标定和稠密3D重建，而这两项任务通常被独立处理，尽管它们都依赖于RGB数据中的几何对应关系。传统的标定需要标定板，而基于RGB的重建会产生一个尺度未知、位于任意坐标系下的几何结构。多相机设置增加了复杂性，因为数据必须在共享参考系中表达。我们提出了Calib3R，一种无需标定板的方法，它通过统一优化联合执行相机-机器人标定和具有真实尺度的3D重建。Calib3R可以处理机器人手臂或移动机器人上的单相机和多相机设置。它基于3D基础模型MASt3R从RGB图像中提取点云，这些点云与机器人姿态相结合，以重建与机器人对齐的、具有真实尺度的3D场景。在各种数据集上的实验表明，Calib3R仅用不到10张图像即可实现精确标定，优于无目标和基于marker的方法。

🔬 方法详解

问题定义：现有相机-机器人标定方法通常需要特定的标定板，这限制了其在复杂环境中的应用。同时，基于RGB图像的3D重建方法通常无法获得真实尺度信息，导致重建结果与机器人坐标系无法对齐。多相机系统的标定和重建问题更加复杂，需要将多个相机的数据转换到统一的参考坐标系下。这些问题阻碍了机器人与环境的可靠交互。

核心思路：Calib3R的核心思路是利用3D基础模型从RGB图像中提取几何信息，并将其与机器人自身的运动信息相结合，通过统一优化框架同时解决相机-机器人标定和3D场景的尺度重建问题。这种方法避免了对标定板的依赖，并能够直接获得与机器人坐标系对齐的、具有真实尺度的3D场景表示。

技术框架：Calib3R的整体框架包括以下几个主要步骤：1) 数据采集：利用机器人控制相机在不同位姿下拍摄RGB图像，并记录对应的机器人位姿。2) 特征提取：使用3D基础模型MASt3R从RGB图像中提取点云特征。3) 联合优化：构建一个统一的优化问题，同时优化相机内外参数、机器人与相机的位姿关系以及3D场景的尺度。优化目标是最小化点云特征与机器人位姿之间的重投影误差。4) 尺度对齐：通过优化过程，将重建的3D场景与机器人坐标系对齐，并恢复真实尺度。

关键创新：Calib3R的关键创新在于：1) 提出了一种无需标定板的相机-机器人联合标定和尺度重建方法。2) 利用3D基础模型提取点云特征，避免了传统方法中对人工设计特征的依赖。3) 构建了一个统一的优化框架，能够同时优化相机内外参数、机器人与相机的位姿关系以及3D场景的尺度。

关键设计：Calib3R的关键设计包括：1) 使用MASt3R作为3D基础模型，提取高质量的点云特征。2) 构建基于重投影误差的损失函数，用于优化相机参数和机器人位姿。3) 采用非线性优化算法（如Levenberg-Marquardt算法）求解优化问题。4) 通过调整优化权重，平衡相机标定和3D重建的精度。

📊 实验亮点

实验结果表明，Calib3R仅使用不到10张图像即可实现高精度的相机-机器人标定，其标定精度优于现有的无目标和基于marker的方法。在多个数据集上的实验验证了Calib3R的有效性和鲁棒性。例如，在某数据集上，Calib3R的标定误差降低了XX%，重建精度提升了YY%。

🎯 应用场景

Calib3R可应用于各种机器人应用场景，如工业自动化、物流、家庭服务等。它能够帮助机器人准确感知周围环境，实现精确操作、自主导航和智能交互。该研究成果有望降低机器人部署和维护成本，提高机器人的智能化水平，并促进机器人技术在更广泛领域的应用。

📄 摘要（原文）

Robots often rely on RGB images for tasks like manipulation and navigation. However, reliable interaction typically requires a 3D scene representation that is metric-scaled and aligned with the robot reference frame. This depends on accurate camera-to-robot calibration and dense 3D reconstruction, tasks usually treated separately, despite both relying on geometric correspondences from RGB data. Traditional calibration needs patterns, while RGB-based reconstruction yields geometry with an unknown scale in an arbitrary frame. Multi-camera setups add further complexity, as data must be expressed in a shared reference frame. We present Calib3R, a patternless method that jointly performs camera-to-robot calibration and metric-scaled 3D reconstruction via unified optimization. Calib3R handles single- and multi-camera setups on robot arms or mobile robots. It builds on the 3D foundation model MASt3R to extract pointmaps from RGB images, which are combined with robot poses to reconstruct a scaled 3D scene aligned with the robot. Experiments on diverse datasets show that Calib3R achieves accurate calibration with less than 10 images, outperforming target-less and marker-based methods.