AnchorHEC: Targetless Hand-Eye Calibration of Wrist and Fixed Cameras

📄 arXiv: 2611.02884v1 📥 PDF

作者: Guebin Hwang, Taeyeop Lee, Yeonseo Lee, Hyosup Shin, Sungho Jo

分类: cs.RO

发布日期: 2026-11-02

备注: 8 pages, 5 figures, 5 tables. Project page: https://hwanggb.github.io/AnchorHEC/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出AnchorHEC以解决无目标手眼标定问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 手眼标定 无目标方法 正向运动学 3D重建 机器人视觉 相机标定 图像处理

📋 核心要点

  1. 现有的手眼标定方法大多依赖于目标或机器人本体的观测，限制了其应用范围和灵活性。
  2. AnchorHEC框架通过结合RGB图像、正向运动学和3D重建，提出了一种无目标的手眼标定方法，适用于腕部和固定摄像头。
  3. 实验结果显示，AnchorHEC在模拟环境中显著降低了标定误差，验证了其在物理机器人上的有效性。

📝 摘要（中文）

近年来，机器人系统结合了腕部和固定摄像头，需进行相应的相机与机器人之间的变换。大多数手眼标定方法依赖于目标或机器人本体的观测，而基于场景的3D重建方法虽然不需要目标，但仅适用于腕部摄像头。本文提出了AnchorHEC，一个无目标的手眼标定框架，能够在单一过程中使用RGB图像、正向运动学（FK）和已知的相机内参对腕部和固定摄像头进行标定。通过FK初始化两种相机类型，并利用共享的3D基础模型重建，FK约束的腕部图像束调整减少了重建姿态和尺度误差的影响。实验结果表明，相较于基于重建的基线，三种主干网络的标定误差在模拟中分别在平移和旋转上减少了86.4%和71.6%。

🔬 方法详解

问题定义：本文旨在解决现有手眼标定方法依赖目标或机器人本体观测的局限性，提出一种无目标的标定方法以适应复杂的机器人系统。

核心思路：AnchorHEC框架通过结合RGB图像、正向运动学（FK）和共享的3D重建模型，能够在单一过程中实现腕部和固定摄像头的标定，避免了传统方法的局限。

技术框架：该方法首先利用FK初始化相机位置，然后通过共享的3D模型进行重建，接着进行FK约束的图像束调整，最后通过三角测量估计固定摄像头的姿态。

关键创新：AnchorHEC的创新在于其无目标的手眼标定能力，能够同时处理两种相机类型，并通过FK约束减少重建误差，这在现有方法中是前所未有的。

关键设计：在设计中，FK约束的图像束调整是核心步骤，此外，针对可能不准确的FK姿态和镜头参数，论文提出了放宽约束的策略，以提高标定的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，AnchorHEC在三种主干网络上实现了标定误差的显著降低，平移误差减少了86.4%，旋转误差减少了71.6%。这些结果相较于传统的基于重建的标定方法，展示了AnchorHEC的优越性能，验证了其在物理机器人上的有效性。

🎯 应用场景

AnchorHEC的研究成果在机器人视觉系统中具有广泛的应用潜力，尤其是在需要高精度相机标定的工业自动化、医疗机器人和服务机器人等领域。其无目标的特性使得标定过程更加灵活，能够适应多变的工作环境，提升机器人系统的智能化水平。

📄 摘要（原文）

Recent robot systems combine wrist and fixed cameras, requiring camera-to-robot transforms for both. Most hand-eye calibration methods rely on targets or robot-body observations. Scene-based methods using 3D reconstruction require neither but address only wrist cameras. We introduce AnchorHEC, a targetless hand-eye calibration framework for wrist and fixed cameras in a single procedure using RGB images, forward kinematics (FK), and known camera intrinsics. We initialize both camera types using FK and a shared 3D foundation model reconstruction. FK-constrained wrist-image bundle adjustment reduces the impact of reconstructed pose and scale errors. If this refinement fails or retains too few inliers, we relax the constraints on potentially inaccurate FK poses and lens parameters. We use the refined wrist transform and FK to triangulate metric points and estimate fixed-camera poses. Across three backbones, calibration errors in simulation decrease by 86.4% in translation and 71.6% in rotation, averaged over both camera types, relative to reconstruction-based baselines. We also validate AnchorHEC on a physical robot. Project page: https://hwanggb.github.io/AnchorHEC/