SyncHeC: Markerless Spatio-Temporal Hand-Eye Calibration via Differentiable Rendering and Continuous-Time Joint Optimization
作者: Zhengdong Hong
分类: cs.RO
发布日期: 2026-11-02
💡 一句话要点
提出SyncHeC以解决无标记手眼标定问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 手眼标定 可微渲染 机器人视觉 深度学习 运动学 多相机标定
📋 核心要点
- 现有的手眼标定方法在连续运动下难以准确同步相机和机械臂的状态，导致标定精度不足。
- SyncHeC通过密集的可微渲染框架，结合连续时间前向运动学，解决了相机几何和时间偏移的联合估计问题。
- 在实验中，SyncHeC在多个机械臂和深度传感器上表现出显著的性能提升，尤其在平移和延迟误差方面的改善。
📝 摘要（中文）
无标记手眼标定在连续运动下需要同时解决相机几何和图像与关节状态之间的时间偏移。我们提出了SyncHeC（同步手眼标定），这是一个密集的可微渲染框架，可以从单个机器人轨迹中估计这两者。连续时间前向运动学使延迟可微，度量深度补充了掩膜轮廓，离线规划器结合了空间灵敏度和时间激励。交替更新支持眼对手、眼在手和多相机标定。在一个7自由度的机械臂上，6.5秒的运动相较于标记板参考产生了0.21厘米的平移误差、0.34厘米的触摸测试误差和相对于87毫秒参考的2.7毫秒延迟误差，95%不确定性为±1.5毫秒。与CM-Calib在匹配录音中的比较，平移和名义延迟误差分别提高了3.7倍和2.3倍。实验覆盖七个机械臂和四个深度传感器。补偿恢复的偏移在策略训练和部署中使成功率提高了8.1个百分点，涵盖六个家族和六个任务（1800个匹配对；配对95%置信区间为[6.3,9.9]点）。
🔬 方法详解
问题定义：本论文旨在解决在连续运动下的无标记手眼标定问题，现有方法在处理相机几何与关节状态时间偏移时存在精度不足的挑战。
核心思路：提出SyncHeC框架，通过密集的可微渲染技术，联合估计相机几何和时间偏移，利用连续时间前向运动学使延迟可微，从而提高标定精度。
技术框架：SyncHeC的整体架构包括相机几何估计、时间偏移估计和离线规划模块。通过交替更新，支持不同的标定模式，如眼对手和眼在手的标定。
关键创新：SyncHeC的主要创新在于其密集的可微渲染框架和连续时间前向运动学的结合，使得延迟和深度信息能够有效地被整合，从而显著提高了标定的准确性。
关键设计：在技术细节上，SyncHeC采用了特定的损失函数来优化相机几何和时间偏移的估计，并通过离线规划器实现空间和时间的灵敏度结合。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SyncHeC在7自由度机械臂上的6.5秒运动中，平移误差为0.21厘米，触摸测试误差为0.34厘米，相较于CM-Calib，平移和延迟误差分别提高了3.7倍和2.3倍。此外，策略训练中的成功率提升了8.1个百分点，显示出其在实际应用中的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人视觉、自动化制造和增强现实等。通过提高手眼标定的精度，SyncHeC能够显著提升机器人在动态环境中的操作能力，推动智能机器人技术的发展。
📄 摘要（原文）
Markerless hand-eye calibration under continuous motion requires jointly resolving camera geometry and the time offset between images and joint states. We present SyncHeC (Synchronized Hand-Eye Calibration), a dense differentiable-rendering framework that estimates both from a single robot trajectory. Continuous-time forward kinematics makes latency differentiable, metric depth complements mask contours, and an offline planner combines spatial sensitivity with temporal excitation. Alternating updates support Eye-to-Hand, Eye-in-Hand, and multi-camera calibration. On a 7-DoF arm, one $6.5$\,s motion yields $0.21$\,cm translation error against a marker-board reference, $0.34$\,cm touch-test error, and $2.7$\,ms latency error relative to an $87$\,ms reference with $95\%$ uncertainty of $\pm1.5$\,ms. Against CM-Calib on matched recordings, translation and nominal latency errors improve by $3.7\times$ and $2.3\times$. Experiments span seven arms and four depth sensors. Compensating the recovered offset during policy training and deployment increases success by $8.1$ percentage points across six families and six tasks ($1{,}800$ matched pairs; paired $95\%$ confidence interval $[6.3,9.9]$ points).