MonoPCC: Photometric-invariant Cycle Constraint for Monocular Depth Estimation of Endoscopic Images

📄 arXiv: 2404.16571v4 📥 PDF

作者: Zhiwei Wang, Ying Zhou, Shiquan He, Ting Li, Fan Huang, Qiang Ding, Xinxia Feng, Mei Liu, Qiang Li

分类: cs.CV

发布日期: 2024-04-25 (更新: 2024-12-19)

备注: 14 pages, 12 figures

💡 一句话要点

提出MonoPCC以解决内窥镜图像单目深度估计中的亮度不一致问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 内窥镜图像 光度约束 循环扭曲 自监督学习 医学图像处理 深度学习

📋 核心要点

  1. 现有方法在内窥镜图像的单目深度估计中面临亮度波动问题，导致光度约束不可靠。
  2. 本文提出MonoPCC，通过构建循环扭曲路径，使得光度约束对亮度变化不敏感，从而提高深度估计的准确性。
  3. 实验结果显示，MonoPCC在四个内窥镜数据集上显著降低了绝对相对误差，表现出优越的鲁棒性。

📝 摘要（中文）

光度约束在自监督单目深度估计中不可或缺，它涉及使用估计的深度和姿态将源图像扭曲到目标视图，然后最小化扭曲图像与目标图像之间的差异。然而，内窥镜内置光源导致显著的亮度波动，使得光度约束不可靠。以往的努力主要依赖额外模型来校准图像亮度。本文提出MonoPCC，通过将光度约束重塑为循环形式，从根本上解决亮度不一致问题。MonoPCC构建了一个闭环，包括两个相对的前向和后向扭曲路径，使得目标图像最终接收到从自身循环扭曲而来的图像，从而自然地使约束对亮度变化不变。此外，MonoPCC将源图像的相位频率移植到中间扭曲图像中，以避免结构丢失，并通过指数移动平均（EMA）策略稳定训练，避免前向扭曲中的频繁变化。综合四个内窥镜数据集的实验结果表明，MonoPCC在亮度不一致性方面表现出极大的鲁棒性，并且在绝对相对误差上超过其他最先进的方法，分别减少了至少7.27%、9.38%、9.90%和3.17%。

🔬 方法详解

问题定义：本文旨在解决内窥镜图像单目深度估计中的亮度不一致性问题。现有方法依赖光度约束，但由于内置光源的亮度波动，导致估计结果不可靠。

核心思路：论文提出的MonoPCC通过构建一个闭环的光度约束形式，利用前向和后向的图像扭曲路径，使得目标图像最终接收到自身的循环扭曲图像，从而实现对亮度变化的自然不变性。

技术框架：MonoPCC的整体架构包括两个主要模块：首先是前向扭曲路径，将源图像扭曲到目标视图；其次是后向扭曲路径，将扭曲后的图像再扭曲回目标图像，形成一个闭环。

关键创新：MonoPCC的核心创新在于将光度约束重塑为循环形式，使得约束对亮度变化不敏感，这是与现有方法的本质区别。

关键设计：在技术细节上，MonoPCC采用了相位频率移植技术，以避免结构丢失，并通过指数移动平均（EMA）策略来稳定训练过程，减少前向扭曲中的频繁变化。具体的损失函数和网络结构设计也为模型的鲁棒性提供了保障。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MonoPCC在四个内窥镜数据集上表现出色，绝对相对误差分别减少了至少7.27%、9.38%、9.90%和3.17%。这些结果显示了MonoPCC在处理亮度不一致性方面的显著优势，超越了其他最先进的方法。

🎯 应用场景

该研究的潜在应用领域包括医学图像处理、内窥镜手术导航和自动化诊断等。通过提高内窥镜图像的深度估计精度，MonoPCC能够为医生提供更可靠的视觉信息，从而提升手术的安全性和有效性。未来，该方法还可能扩展到其他领域，如机器人视觉和增强现实等。

📄 摘要（原文）

Photometric constraint is indispensable for self-supervised monocular depth estimation. It involves warping a source image onto a target view using estimated depth&pose, and then minimizing the difference between the warped and target images. However, the endoscopic built-in light causes significant brightness fluctuations, and thus makes the photometric constraint unreliable. Previous efforts only mitigate this relying on extra models to calibrate image brightness. In this paper, we propose MonoPCC to address the brightness inconsistency radically by reshaping the photometric constraint into a cycle form. Instead of only warping the source image, MonoPCC constructs a closed loop consisting of two opposite forward-backward warping paths: from target to source and then back to target. Thus, the target image finally receives an image cycle-warped from itself, which naturally makes the constraint invariant to brightness changes. Moreover, MonoPCC transplants the source image's phase-frequency into the intermediate warped image to avoid structure lost, and also stabilizes the training via an exponential moving average (EMA) strategy to avoid frequent changes in the forward warping. The comprehensive and extensive experimental results on four endoscopic datasets demonstrate that our proposed MonoPCC shows a great robustness to the brightness inconsistency, and exceeds other state-of-the-arts by reducing the absolute relative error by at least 7.27%, 9.38%, 9.90% and 3.17%, respectively.