Reinforcement Learning for Follow-the-Leader Robotic Endoscopic Navigation via Synthetic Data

📄 arXiv: 2601.02798v1 📥 PDF

作者: Sicong Gao, Chen Qian, Laurence Xian, Liao Wu, Maurice Pagnucco, Yang Song

分类: cs.RO

发布日期: 2026-01-06

💡 一句话要点

提出基于深度强化学习的内窥镜导航方法，通过合成数据提升导航精度和安全性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 内窥镜导航 深度强化学习 单目深度估计 合成数据 机器人控制

📋 核心要点

  1. 现有内窥镜导航方法难以避免与内壁接触，导致患者不适，且依赖人工操作效率较低。
  2. 利用单目深度估计引导的深度强化学习，结合几何感知奖励机制，实现安全高效的自主导航。
  3. 在NVIDIA Omniverse中训练和评估，并使用合成数据微调深度模型，显著提升了深度估计精度和导航性能。

📝 摘要（中文）

本文提出了一种基于深度强化学习的内窥镜机器人自主导航框架，旨在安全高效地探索狭窄的管状环境，并避免与内壁接触。该方法采用一种基于柔性连续体结构的follow-the-leader内窥镜机器人，以最大限度地减少内窥镜主体与肠壁之间的接触，从而降低患者的不适感。该框架利用单目深度估计引导的视觉深度强化学习。在NVIDIA Omniverse中构建了逼真的肠道模拟环境，用于训练和评估自主导航策略。此外，使用NVIDIA Replicator生成了数千张合成的管腔内图像，以微调Depth Anything模型，从而实现对肠道环境的密集三维感知。引入了一种几何感知奖励和惩罚机制，以实现精确的管腔跟踪。实验结果表明，与原始Depth Anything模型相比，该方法将δ1深度精度提高了39.2%，并且相对于第二好的方法，导航J-index降低了0.67，证明了该方法的鲁棒性和有效性。

🔬 方法详解

问题定义：内窥镜机器人在狭窄管状环境中的自主导航，尤其是在医疗应用中，面临着避免与内壁碰撞的挑战。现有的方法通常依赖人工操作或简单的控制策略，效率低且容易造成患者不适。因此，需要一种能够安全、高效地引导内窥镜机器人自主探索管腔环境的方法。

核心思路：论文的核心思路是利用深度强化学习训练一个智能体，使其能够根据单目视觉信息自主地控制内窥镜机器人的运动，同时避免与管腔内壁发生碰撞。通过结合单目深度估计和几何感知奖励机制，智能体能够学习到精确的管腔跟踪策略。

技术框架：整体框架包括以下几个主要模块：1) 基于柔性连续体结构的follow-the-leader内窥镜机器人；2) 基于NVIDIA Omniverse的肠道模拟环境，用于生成训练数据；3) 基于NVIDIA Replicator的合成图像生成模块，用于微调深度估计模型；4) 基于深度强化学习的导航策略学习模块，该模块使用单目深度估计作为输入，输出机器人的控制指令。

关键创新：论文的关键创新在于：1) 提出了一种基于单目深度估计的深度强化学习导航框架，能够在缺乏真实深度信息的情况下实现自主导航；2) 利用合成数据微调深度估计模型，显著提高了深度估计的精度；3) 设计了一种几何感知奖励机制，能够有效地引导智能体学习到避免碰撞的导航策略。

关键设计：论文的关键设计包括：1) 使用Depth Anything模型作为深度估计的基础模型，并使用合成数据进行微调；2) 设计了一种几何感知奖励函数，该函数考虑了机器人与管腔中心线的距离、机器人与管腔内壁的距离等因素；3) 使用了Proximal Policy Optimization (PPO)算法进行强化学习训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过使用合成数据微调Depth Anything模型，深度估计的δ1精度提高了39.2%。与第二好的方法相比，导航J-index降低了0.67，表明该方法在导航性能方面具有显著优势。这些结果验证了该方法在内窥镜自主导航方面的有效性和鲁棒性。

🎯 应用场景

该研究成果可应用于医疗内窥镜检查和手术，例如结肠镜检查、胃镜检查等，能够减少医生操作负担，提高检查效率和准确性，并降低患者的不适感。此外，该方法也可应用于工业管道检测等领域，实现对复杂管道环境的自主探索和维护。

📄 摘要（原文）

Autonomous navigation is crucial for both medical and industrial endoscopic robots, enabling safe and efficient exploration of narrow tubular environments without continuous human intervention, where avoiding contact with the inner walls has been a longstanding challenge for prior approaches. We present a follow-the-leader endoscopic robot based on a flexible continuum structure designed to minimize contact between the endoscope body and intestinal walls, thereby reducing patient discomfort. To achieve this objective, we propose a vision-based deep reinforcement learning framework guided by monocular depth estimation. A realistic intestinal simulation environment was constructed in \textit{NVIDIA Omniverse} to train and evaluate autonomous navigation strategies. Furthermore, thousands of synthetic intraluminal images were generated using NVIDIA Replicator to fine-tune the Depth Anything model, enabling dense three-dimensional perception of the intestinal environment with a single monocular camera. Subsequently, we introduce a geometry-aware reward and penalty mechanism to enable accurate lumen tracking. Compared with the original Depth Anything model, our method improves $δ_{1}$ depth accuracy by 39.2% and reduces the navigation J-index by 0.67 relative to the second-best method, demonstrating the robustness and effectiveness of the proposed approach.