Language-Conditioned Behavioral Cloning for Autonomous Endoscope Guidance
作者: Ariel Rodriguez, Lorenzo Mazza, Ortrun Hellig, Alejandra Toscano, Rayan Younis, Stefanie Speidel
分类: cs.RO
发布日期: 2026-10-30
备注: The Evolving Landscape of Surgical Robotics: Surgical Autonomy for Today and Tomorrow @ IROS 2026
💡 一句话要点
提出语言条件行为克隆以解决自主内窥镜引导问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 内窥镜引导 行为克隆 语言条件 微创手术 自动化控制 深度学习 医疗机器人
📋 核心要点
- 现有的内窥镜引导方法无法准确捕捉外科医生的即时意图，导致手术过程中对摄像机控制的依赖性较高。
- 本文提出了一种基于语言条件的行为克隆方法，通过定义临床相关的引导行为来实现自动化内窥镜引导。
- 实验结果显示，所提出的方法在多个行为上表现出色，尤其是在聚焦和概览行为上达到了100%的成功率，展示了其有效性。
📝 摘要（中文）
自动化内窥镜引导减少了在微创手术中对持续手动摄像机控制的需求。然而，所需的摄像机运动依赖于外科医生的即时意图，无法仅从视觉操作场景中推断。本文提出使用语言条件行为克隆来自动化该任务，定义了6种临床相关的引导行为，并收集了235个子任务演示。在初步的虚拟实验中，我们的策略在聚焦、概览和停止行为上取得了100%的成功率，在搜索尖端和跟随尖端行为上为80%，而在水平调整上为50%。这些结果展示了通过单一的视觉运动策略学习异质外科医生请求的摄像机行为的可行性，同时观察到的失败模式激励未来在更复杂的引导任务中添加时间上下文。
🔬 方法详解
问题定义：本文旨在解决在微创手术中内窥镜引导的自动化问题。现有方法无法有效捕捉外科医生的即时意图，导致手动控制的需求较高。
核心思路：提出使用语言条件行为克隆，通过外科医生的语言指令来指导摄像机运动，从而实现对复杂手术场景的自动化控制。这样的设计使得系统能够更好地理解外科医生的意图。
技术框架：整体架构包括数据收集、行为定义、模型训练和评估四个主要阶段。首先收集外科医生的操作演示数据，然后定义相关的引导行为，接着训练模型以学习这些行为，最后通过实验评估模型性能。
关键创新：最重要的技术创新在于将语言条件与行为克隆相结合，使得系统能够在多种临床场景下灵活应对外科医生的指令。这与传统的视觉驱动方法形成了本质区别。
关键设计：在模型训练中，采用了多种损失函数来平衡不同引导行为的学习，同时使用了深度学习网络结构以提高模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的语言条件行为克隆策略在聚焦、概览和停止行为上达到了100%的成功率，而在搜索尖端和跟随尖端行为上为80%，水平调整行为为50%。这些结果展示了该方法在多样化引导任务中的有效性和潜力。
🎯 应用场景
该研究的潜在应用领域包括微创手术中的自动化内窥镜引导，能够显著降低外科医生的工作负担，提高手术的安全性和效率。未来，该技术还可以扩展到其他类型的手术或医疗操作中，进一步推动智能医疗的发展。
📄 摘要（原文）
Automated endoscope guidance reduces the need for continuous manual camera control during minimally invasive surgery. However, the desired camera motion depends on the surgeon's immediate intentions and cannot always be inferred from the visual operative scene alone. We propose to automate the task using language-conditioned behavioral cloning; we define 6 clinically relevant guidance behaviors and collect 235 subtask demonstrations. In preliminary phantom experiments, our policy achieves 100% success on focus, overview, and stop, 80% on search-tip and follow-tip behaviors, and 50% on horizon leveling. These results demonstrate the feasibility of learning heterogeneous surgeon-requested camera behaviors with a single visuomotor policy, while the observed failure modes motivate future work on adding temporal context for more demanding guidance tasks.