AI-based single-shot structured-light depth reconstruction for real-time laparoscopic surgical guidance

📄 arXiv: 2608.05109v1 📥 PDF

作者: Wayne Wonseok Rodgers, Xiangyi Le, Seonghoon Jang, Shuwen Wei, Justin Opfermann, Michael Kam, Axel Krieger, Jin U. Kang

分类: eess.IV, cs.RO, physics.optics

发布日期: 2026-08-05

备注: 17 pages, 7 figures

💡 一句话要点

提出基于AI的单次结构光深度重建以解决实时腹腔镜手术引导问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)

关键词: 深度重建 腹腔镜手术 结构光 深度学习 实时处理 机器人技术 VQ-VAE U-Net

📋 核心要点

  1. 现有的条纹投影测量方法在集成到紧凑型腹腔镜系统中时面临多次拍摄和同步的挑战。
  2. 本文提出了一种基于被动LED照明的单次深度感知平台，结合VQ-VAE和U-Net架构，简化了深度重建过程。
  3. 实验结果显示，所提模型在MAE和AbsRel等指标上均优于现有的双U-Net基线，且在NVIDIA A100 GPU上以26.0 Hz的速度运行。

📝 摘要（中文）

准确的术中深度感知对自主和半自主的机器人腹腔镜手术至关重要。传统的条纹投影测量法虽然能实现毫米级精度，但通常需要多次拍摄、数字微镜设备投影和投影仪-相机同步，这使得其在紧凑型腹腔镜系统中的集成变得复杂。本文开发了一种无同步、单次深度感知平台，利用被动LED照明的二进制掩模和带有自定义U-Net深度头的VQ-VAE先验。实验结果表明，该模型在多个指标上优于现有基线，能够实现视频速率的内窥镜深度估计。

🔬 方法详解

问题定义：本文旨在解决传统条纹投影测量法在腹腔镜手术中因多次拍摄和设备同步而导致的复杂性问题。现有方法虽然精度高，但难以在紧凑型系统中有效集成。

核心思路：提出了一种无同步的单次深度感知平台，利用被动LED照明和VQ-VAE先验，结合自定义的U-Net深度头，旨在简化深度重建过程并提高实时性。

技术框架：该系统包括一个紧凑的投影模块与双通道腹腔镜的一个通道相连，第二个通道用于成像条纹照明的目标。使用Zivid 3D相机获取参考深度，并通过重投影技术进行监督训练。

关键创新：最重要的创新在于采用了VQ-VAE编码输入为离散潜在表示，并通过潜在空间的U-Net进行深度预测，无需单独的掩模预测分支，从而简化了模型结构。

关键设计：在模型设计中，采用了固定的训练/验证/测试分割，损失函数和网络结构经过精心调整，以实现最佳的深度预测性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提模型在MAE上达到了3.70 mm，AbsRel为0.0326，delta=1.1的准确率为0.962，delta=1.1^2的准确率为0.970，均优于双U-Net MaskNet + DepthNet基线，并在多个指标上超越了现成的单目深度模型。

🎯 应用场景

该研究的潜在应用领域包括机器人手术、内窥镜检查和其他需要实时深度感知的医疗场景。通过提供高精度的深度估计，该技术能够显著提升手术的安全性和效率，未来可能在更广泛的医疗设备中得到应用。

📄 摘要（原文）

Significance. Accurate intraoperative depth perception is important for autonomous and semi-autonomous robotic laparoscopic surgery. Conventional fringe projection profilometry can achieve millimeter-scale accuracy but often requires multi-shot acquisition, digital-micromirror-device projection, and projector-camera synchronization, complicating integration into compact laparoscopic systems. Aim. To develop a synchronization-free, single-shot depth-sensing platform using a passive LED-illuminated binary mask and a VQ-VAE prior with a custom U-Net depth head. Approach. A compact projection module was coupled to one channel of a dual-channel laparoscope, while the second channel imaged the fringe-illuminated target. A Zivid 3D camera acquired reference depth for 722 paired phantom images. Zivid depth maps were reprojected into the SSLE image frame for supervised training and evaluation. The VQ-VAE encoded each input into a discrete latent representation, and a latent-space U-Net predicted depth without a separate mask-prediction branch. Results. Using a fixed train/validation/test split, the proposed model achieved an MAE of 3.70 mm, AbsRel of 0.0326, delta=1.1 accuracy of 0.962, and delta=1.1^2 accuracy of 0.970. It achieved lower MAE than the dual U-Net MaskNet + DepthNet baseline and outperformed off-the-shelf monocular depth models in MAE, AbsRel, and threshold accuracy. The pipeline operated at 26.0 Hz over 301 consecutive frames on an NVIDIA A100 GPU. Conclusions. The LED-illuminated binary-pattern platform with latent-space depth reconstruction enables synchronization-free, video-rate endoscopic depth estimation. Results demonstrate Zivid-referenced phantom reconstruction without an explicit segmentation stage, while emphasizing the importance of dataset size and SSLE-Zivid calibration accuracy.