Automatic Robot Hand-Eye Calibration Enabled by Learning-Based 3D Vision

📄 arXiv: 2311.01335v3 📥 PDF

作者: Leihui Li, Xingyu Yang, Riwei Wang, Xuping Zhang

分类: cs.RO

发布日期: 2023-11-02 (更新: 2024-09-05)

备注: Accepted by Journal of Intelligent & Robotic Systems

DOI: 10.1007/s10846-024-02166-4

💡 一句话要点

提出LRBO方法以解决无标定物体的机器人手眼标定问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 手眼标定 机器人视觉 3D检测 点云处理 自动化 机器学习 机器人技术

📋 核心要点

  1. 现有手眼标定方法通常依赖外部标记或人工辅助，限制了其应用的灵活性和效率。
  2. 本文提出的LRBO方法通过利用机器人基座的点云数据，避免了对外部标定物体的依赖，实现了自动化标定。
  3. 实验结果显示，该方法在平移和旋转精度上均优于现有3D视觉标定方法，且速度显著提升。

📝 摘要（中文）

手眼标定是视觉基础机器人系统中的一项基本任务，旨在估计相机坐标系与机器人法兰之间的变换矩阵。现有方法大多依赖外部标记或人工辅助。本文提出了一种新方法——一次性观察机器人基座（LRBO），该方法无需外部标定物体或人工支持，而是利用机器人基座的点云数据来建立相机坐标系到机器人基座的变换矩阵I=AXB。通过学习基础的3D检测和配准算法，估计机器人基座的位置和方向。实验结果表明，该方法在不同关节配置下实现了0.930 mm的平移偏差和0.265度的旋转偏差，且在3D重建实验中表现出0.994度的旋转误差和1.697 mm的位置误差。此外，该方法的完成时间可在1秒内，是目前最快的3D手眼标定方法。

🔬 方法详解

问题定义：手眼标定的核心问题是如何准确估计相机坐标系与机器人法兰之间的变换矩阵。现有方法依赖外部标记或人工辅助，导致标定过程复杂且效率低下。

核心思路：LRBO方法的核心在于利用机器人基座的点云数据进行标定，避免了对外部物体的依赖。通过学习基础的3D检测和配准算法，准确估计机器人基座的位置和方向。

技术框架：该方法的整体架构包括数据采集、点云处理、变换矩阵计算和精度评估四个主要模块。首先，通过传感器获取机器人基座的点云数据，然后进行处理以提取特征，接着计算相机与基座之间的变换矩阵，最后通过实验验证其精度。

关键创新：LRBO方法的创新在于其无需外部标定物体，利用机器人基座的几何特征进行标定，显著提升了标定的灵活性和速度。与传统方法相比，该方法在标定过程中减少了人为干预。

关键设计：在技术细节上，方法采用了高效的点云配准算法，设置了合适的参数以优化点云的匹配精度，同时使用了适应性损失函数来提高模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LRBO方法在平移偏差上达到0.930 mm，旋转偏差为0.265度，且在3D重建中表现出0.994度的旋转误差和1.697 mm的位置误差。此外，该方法的标定速度可在1秒内完成，显著快于其他3D手眼标定方法。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、自动化生产线和智能制造等。通过实现快速且高精度的手眼标定，LRBO方法能够提升机器人在复杂环境中的自主操作能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Hand-eye calibration, as a fundamental task in vision-based robotic systems, aims to estimate the transformation matrix between the coordinate frame of the camera and the robot flange. Most approaches to hand-eye calibration rely on external markers or human assistance. We proposed Look at Robot Base Once (LRBO), a novel methodology that addresses the hand-eye calibration problem without external calibration objects or human support, but with the robot base. Using point clouds of the robot base, a transformation matrix from the coordinate frame of the camera to the robot base is established as I=AXB. To this end, we exploit learning-based 3D detection and registration algorithms to estimate the location and orientation of the robot base. The robustness and accuracy of the method are quantified by ground-truth-based evaluation, and the accuracy result is compared with other 3D vision-based calibration methods. To assess the feasibility of our methodology, we carried out experiments utilizing a low-cost structured light scanner across varying joint configurations and groups of experiments. The proposed hand-eye calibration method achieved a translation deviation of 0.930 mm and a rotation deviation of 0.265 degrees according to the experimental results. Additionally, the 3D reconstruction experiments demonstrated a rotation error of 0.994 degrees and a position error of 1.697 mm. Moreover, our method offers the potential to be completed in 1 second, which is the fastest compared to other 3D hand-eye calibration methods. Code is released at github.com/leihui6/LRBO.