Sensor-Informed Per-Point Covariance for Structured-Light 3D Imaging
作者: Sehoon Tak, Jae-Sang Hyun
分类: cs.CV
发布日期: 2026-08-11
💡 一句话要点
提出传感器信息驱动的点云协方差模型以解决3D成像不确定性问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D重建 点云处理 协方差模型 结构光 相位测量 机器人视觉 不确定性评估
📋 核心要点
- 现有的点云协方差模型往往忽视了测量过程的影响，导致不准确的3D不确定性评估。
- 本文提出了一种基于传感器信息的协方差构建方法，利用实验数据和标定映射来提高模型的准确性。
- 实验结果表明，该方法在G-ICP配准中显著优于传统的各向同性模型，提供了更准确的不确定性表示。
📝 摘要（中文）
点云的不确定性模型在结构光3D重建中对概率配准、融合和质量评估至关重要。然而，现有方法通常将点云协方差视为各向同性常数或从局部表面几何推断，未能明确反映测量过程。本文提出了一种基于传感器信息的第一阶方法，通过实验测量的相位精度和标定的相位到深度及相位到3D映射构建每个点的3x3协方差场。该方法有效地将相位引起的协方差与通过拟合的图像空间扰动尺度相结合，显著改善了G-ICP配准的效果。
🔬 方法详解
问题定义：本文旨在解决现有结构光3D成像中点云协方差模型的不足，特别是其未能反映测量过程的局限性。现有方法通常将协方差视为常数或基于局部几何推断，导致不准确的3D不确定性评估。
核心思路：论文提出了一种基于传感器信息的第一阶方法，通过实验测量的相位精度和标定的相位到深度及相位到3D映射，构建每个点的3x3协方差场。这种方法能够更准确地反映相位噪声对3D重建的影响。
技术框架：整体架构包括三个主要模块：首先，通过实验测量获得相位精度；其次，利用标定的相位到深度和相位到3D映射构建协方差；最后，将相位引起的协方差与图像空间扰动尺度结合，形成完整的协方差场。
关键创新：最重要的技术创新在于将相位引起的协方差与有效的全秩补全相结合，提供了一种新的不确定性表示方法。这与传统的各向同性模型有本质区别，能够更好地反映实际测量过程中的不确定性。
关键设计：关键设计包括相位精度的实验测量、相位到深度和3D映射的标定过程，以及拟合的图像空间扰动尺度的选择。这些设计确保了协方差模型的准确性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提协方差模型在G-ICP配准中显著优于传统的各向同性模型，提升幅度达到XX%（具体数据未知）。该方法在固定成像条件下，协方差方向与视线高度一致，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人视觉、自动驾驶、虚拟现实等需要高精度3D重建的场景。通过提供更准确的点云不确定性评估，该方法能够提升这些领域中物体识别、环境建模和导航的性能，具有重要的实际价值和未来影响。
📄 摘要（原文）
Per-point uncertainty models are important in structured-light 3D reconstruction for probabilistic registration, fusion, and quality assessment. In practice, however, point-cloud covariances are often modeled as isotropic constants or inferred from local surface geometry and therefore do not explicitly reflect the measurement process. This is a limitation in fringe projection profilometry (FPP), where phase noise propagates through calibrated reconstruction and produces strongly anisotropic 3D uncertainty. This paper presents a sensor-informed first-order method for constructing a per-point 3 x 3 covariance field from experimentally measured phase precision and calibrated phase-to-depth and phase-to-3D mappings. The formulation separates a rank-1 phase-induced covariance from an effective full-rank completion obtained by incorporating fitted lateral image-space perturbation scales. Repeated-plane experiments under fixed imaging conditions show close alignment of the dominant covariance direction with the viewing ray, and consistency between the dominant phase-induced uncertainty scale and scalar depth uncertainty. In G-ICP registration, the proposed covariance substantially improves over a constant isotropic model while providing a sensor-derived uncertainty representation complementary to conventional geometry-based covariances.