CalibSwitch: Observation-Driven Camera-LiDAR Extrinsic Recovery and Selective Maintenance for Multimodal Perception

📄 arXiv: 2610.41352v1 📥 PDF

作者: Haifa Zhang, Yijing Wang, Zhiqiang Zuo

分类: cs.RO, cs.CV

发布日期: 2026-10-30

💡 一句话要点

提出CalibSwitch以解决多模态感知中的相机-激光雷达外参恢复问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态感知 相机-激光雷达 外参恢复 选择性状态维护 观察驱动 几何正则化 自动驾驶 机器人导航

📋 核心要点

  1. 现有方法在相机-激光雷达感知中面临初始外参不确定性和观察质量波动的挑战，影响感知的稳定性和准确性。
  2. 论文提出的CalibSwitch框架通过观察驱动的方式，将绝对外参恢复与选择性状态维护分开，提高了多模态感知的可靠性。
  3. 在nuScenes数据集上，CAEG和SRCP的组合显著提升了感知精度，尤其在几何变换持续的情况下，表现出优越的性能。

📝 摘要（中文）

相机-激光雷达感知在移动机器人和智能车辆中依赖于可靠的传感器几何配置。安装变异导致初始外参的不确定性，而观察质量的变化使得帧级估计在操作过程中波动。本文提出了CalibSwitch，一个观察驱动的框架，分离绝对外参恢复与选择性状态维护。跨模态绝对外参生成器（CAEG）结合无投影的双向特征交互与几何正则化学习，从图像-点观察和粗略视图上下文中恢复完整的SE(3)候选项，而无需提供数值初始变换。选择性递归校准策略（SRCP）结合观察质量和时间历史，决定何时用候选项替换被冻结的多模态检测器消耗的工作几何。实验结果表明，CAEG在nuScenes数据集上实现了平均平移和旋转误差分别为0.248米和5.884度。SRCP在持续几何变换下达到平均复合误差1.46，候选承诺率为9.70%，超越了基于质量和时间一致性门控的方案。相较于无条件逐帧更新，SRCP提高了冻结检测器的mAP和NDS分别为1.43和0.92分。

🔬 方法详解

问题定义：本文旨在解决移动机器人和智能车辆中相机-激光雷达感知的外参恢复问题，现有方法在初始外参不确定性和观察质量波动下表现不佳，导致感知不稳定。

核心思路：CalibSwitch框架通过将绝对外参恢复与选择性状态维护分开，利用观察驱动的策略来提高感知的准确性和稳定性。

技术框架：该框架主要包括两个模块：跨模态绝对外参生成器（CAEG）和选择性递归校准策略（SRCP）。CAEG负责从图像-点观察中恢复外参，而SRCP则根据观察质量和时间历史决定何时更新几何状态。

关键创新：CAEG通过无投影的双向特征交互与几何正则化学习，能够在没有初始变换的情况下恢复完整的SE(3)候选项，这是与现有方法的本质区别。

关键设计：在CAEG中，采用了特征交互机制和几何正则化损失函数，以确保恢复的外参在几何上合理；SRCP则通过分析观察质量和历史数据，优化了候选更新的时机。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CAEG在nuScenes数据集上实现了平均平移和旋转误差分别为0.248米和5.884度。SRCP在持续几何变换下的平均复合误差为1.46，且候选承诺率仅为9.70%，显著优于传统的质量和时间一致性门控方法，同时提高了冻结检测器的mAP和NDS。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够显著提升多模态传感器的融合效果和感知能力。未来，CalibSwitch框架有望在动态环境中实现更高效的实时感知，推动智能交通和智能机器人技术的发展。

📄 摘要（原文）

Camera--LiDAR perception on mobile robots and intelligent vehicles depends on reliable sensor geometry throughout deployment. Installation variations create uncertainty in the initial extrinsics, while changing observation quality makes frame-wise estimates fluctuate during operation. This paper presents CalibSwitch, an observation-driven framework that separates absolute extrinsic recovery from selective state maintenance. A cross-modal absolute extrinsic generator (CAEG) combines projection-free bidirectional feature interaction with geometry-regularized learning to recover complete SE(3) candidates from image--point observations and coarse view context, without a supplied numerical initial transform. A selective recurrent calibration policy (SRCP) combines observation quality and temporal history to determine when a candidate should replace the working geometry consumed by a frozen multimodal detector. On nuScenes, CAEG achieves mean translation and rotation errors of 0.248 m and 5.884$^\circ$. Under sustained geometric transitions, SRCP reaches a mean composite error of 1.46 with 9.70\% candidate commitments, outperforming quality-based and temporal-consistency gating at comparable commitment rates. Relative to unconditional per-frame updating, it improves frozen-detector mAP and NDS by 1.43 and 0.92 points. Paired geometry--observation uncertainty tests, two real-vehicle platforms, and 13.5-FPS single-camera Jetson execution demonstrate the system value of selective geometric-state maintenance for continuous perception.