Long-Range depth estimation using learning based Hybrid Distortion Model for CCTV cameras

📄 arXiv: 2512.17784v1 📥 PDF

作者: Ami Pandat, Punna Rajasekhar, G. Aravamuthan, Gopika Vinod, Rohit Shukla

分类: cs.CV

发布日期: 2025-12-19

💡 一句话要点

提出基于学习的混合畸变模型，用于CCTV相机长距离深度估计。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 长距离深度估计 相机标定 畸变模型 神经网络 CCTV相机

📋 核心要点

  1. 现有基于立体相机的三维定位方法在长距离上受限于相机镜头畸变模型的精度。
  2. 提出一种混合畸变模型，结合传统畸变模型的高阶项扩展和神经网络的残差校正。
  3. 实验结果表明，该方法能够有效提升长距离定位性能，最远可达5公里。

📝 摘要（中文）

本文提出了一种用于长距离物体定位的相机畸变模型框架，适用于三维地图构建和物体定位等摄影测量应用。传统的基于立体相机的三维定位方法受限于相机镜头非线性畸变模型的精度，通常只能在数百米范围内有效。为了解决这个问题，本文提出了一种混合方法，首先扩展传统畸变模型，加入高阶项，然后使用基于神经网络的残差校正模型进行增强。该方法显著提高了长距离定位性能，能够估计远达5公里的物体三维位置。估计的三维坐标被转换为GIS坐标，并在GIS地图上进行可视化。实验验证表明，该框架具有鲁棒性和有效性，为长距离摄影测量应用中的CCTV相机标定提供了一种实用的解决方案。

🔬 方法详解

问题定义：论文旨在解决CCTV相机在长距离（例如几公里）场景下的深度估计问题。现有方法，特别是基于传统畸变模型的立体视觉方法，由于无法准确建模相机镜头的复杂非线性畸变，导致远距离定位精度显著下降。因此，如何建立一个能够准确描述长距离场景下相机畸变的模型是关键问题。

核心思路：论文的核心思路是结合传统畸变模型和神经网络的优势，提出一种混合畸变模型。传统畸变模型虽然计算效率高，但表达能力有限；神经网络具有强大的非线性建模能力，但直接应用于畸变模型估计时难以收敛。因此，论文采用混合方法，首先使用扩展的传统畸变模型进行初步校正，然后利用神经网络学习残差，对初步校正结果进行精细调整。

技术框架：整体框架包含以下几个主要步骤：1) 使用扩展的传统畸变模型（包含高阶项）对图像进行初步校正；2) 构建一个神经网络，以初步校正后的图像坐标作为输入，输出残差校正量；3) 将神经网络的输出与初步校正结果相加，得到最终的校正后的图像坐标；4) 利用校正后的图像坐标进行三维重建和定位；5) 将三维坐标转换到GIS坐标系，并在GIS地图上进行可视化。

关键创新：该方法最重要的创新点在于提出了混合畸变模型，将传统畸变模型和神经网络结合起来。这种混合方法既利用了传统模型的计算效率，又发挥了神经网络的非线性建模能力，从而能够更准确地描述相机镜头的复杂畸变。与直接使用神经网络建模畸变相比，该方法更容易收敛，并且具有更好的泛化能力。

关键设计：论文中，传统畸变模型扩展到了高阶项，以更好地拟合复杂的畸变。神经网络的具体结构（例如层数、神经元数量、激活函数等）以及训练方式（例如损失函数、优化器、学习率等）未知，但其目标是学习残差校正量，以弥补传统畸变模型的不足。损失函数的设计需要考虑定位精度和鲁棒性，可能包括重投影误差、三维点云的平滑性等。

📊 实验亮点

实验结果表明，该方法能够有效提高长距离定位精度，最远可达5公里。通过与传统畸变模型相比，该方法在远距离目标的三维坐标估计方面取得了显著的性能提升。此外，该方法能够将估计的三维坐标转换到GIS坐标系，并在GIS地图上进行可视化，为实际应用提供了便利。

🎯 应用场景

该研究成果可广泛应用于智能交通、安防监控、城市规划等领域。例如，可以利用CCTV相机进行远距离车辆定位和跟踪，实现交通流量监控和事故检测；可以用于构建高精度三维城市模型，为城市规划和管理提供支持；还可以应用于灾害救援，快速定位受灾人员和评估灾情。

📄 摘要（原文）

Accurate camera models are essential for photogrammetry applications such as 3D mapping and object localization, particularly for long distances. Various stereo-camera based 3D localization methods are available but are limited to few hundreds of meters' range. This is majorly due to the limitation of the distortion models assumed for the non-linearities present in the camera lens. This paper presents a framework for modeling a suitable distortion model that can be used for localizing the objects at longer distances. It is well known that neural networks can be a better alternative to model a highly complex non-linear lens distortion function; on contrary, it is observed that a direct application of neural networks to distortion models fails to converge to estimate the camera parameters. To resolve this, a hybrid approach is presented in this paper where the conventional distortion models are initially extended to incorporate higher-order terms and then enhanced using neural network based residual correction model. This hybrid approach has substantially improved long-range localization performance and is capable of estimating the 3D position of objects at distances up to 5 kilometres. The estimated 3D coordinates are transformed to GIS coordinates and are plotted on a GIS map for visualization. Experimental validation demonstrates the robustness and effectiveness of proposed framework, offering a practical solution to calibrate CCTV cameras for long-range photogrammetry applications.