EndoLIFT: Language-Disambiguated Latent-Conditioned Rectified Flow for Bidirectional Endoscopic Control
作者: Chi Kit Ng, Yidong Zhang, Lui Siu Hing, Jinsong Lin, Tianchun Wu, Ho Yin Chim, Zhiqing Tang, Tao Yang, Huxin Gao, Trevor Yeung, Raymond Shing-Yan Tang, Hongliang Ren
分类: cs.RO
发布日期: 2026-08-20
💡 一句话要点
提出EndoLIFT以解决内窥镜双向控制中的意图歧义问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 内窥镜控制 意图歧义 视觉-语言-动作 潜变量条件 动作生成 医疗机器人 导航准确性
📋 核心要点
- 现有内窥镜控制方法在双向操作中面临意图歧义，导致相似观察需要相反的动作。
- EndoLIFT通过结合语言指令与潜变量条件，提出了一种新的视觉-语言-动作策略，解决意图别名问题。
- 实验结果显示，EndoLIFT在不同场景下成功率提高30个百分点，并在多项试验中表现优异。
📝 摘要（中文）
常规的胃肠内窥镜检查本质上是双向的：仪器需要向前推进以到达目标解剖结构，然后再撤回或反向以进行检查。当请求的阶段在视觉场景变化之前发生变化时，几乎相同的观察可能需要相反的轴向动作。我们将这种双向内窥镜控制中的歧义称为意图别名。我们提出了EndoLIFT（内窥镜语言指令流与轨迹潜变量），这是一种结合显式语言基础意图条件与潜变量条件的修正流动作专家的视觉-语言-动作策略。该策略接收RGB图像、语言指令和先前的动作状态；32维的变分轨迹潜变量随机条件化连续动作块生成。相较于未使用潜变量条件的匹配模型，EndoLIFT在导航方向准确性上提高了11.1个百分点，并减少了83%的错误方向推进。
🔬 方法详解
问题定义：论文要解决的具体问题是内窥镜双向控制中的意图歧义，现有方法在处理相似观察时无法有效区分所需的相反动作，导致操作不准确。
核心思路：论文提出EndoLIFT，通过将语言指令与潜变量条件结合，明确意图选择与动作生成之间的关系，从而有效解决意图别名问题。
技术框架：EndoLIFT的整体架构包括三个主要模块：输入模块（接收RGB图像和语言指令）、潜变量生成模块（生成32维的变分轨迹潜变量）和动作生成模块（基于条件生成连续动作块）。
关键创新：最重要的技术创新点在于将语言指令与潜变量条件相结合，使得意图选择与动作生成相互独立，从而提高了导航方向的准确性和操作的鲁棒性。
关键设计：在设计中，使用了32维的变分轨迹潜变量作为条件，采用了特定的损失函数以优化意图跟随准确性，并在网络结构中引入了修正流机制以增强动作生成的灵活性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，EndoLIFT在闭环评估中相较于未使用潜变量条件的模型，整体成功率提高了30个百分点，并在44种语言变体中保持了82.8%的意图跟随准确性。此外，EndoLIFT在10次外部试验中均成功完成了操作，显示出其在实际应用中的可靠性。
🎯 应用场景
该研究的潜在应用领域包括医疗内窥镜操作、机器人手术及其他需要精确控制的领域。通过提高内窥镜操作的准确性和安全性，EndoLIFT有望在临床实践中显著提升医生的工作效率和患者的治疗效果。未来，该技术还可能扩展到其他类型的机器人控制系统中。
📄 摘要（原文）
Routine gastrointestinal endoscopy is intrinsically bidirectional: the instrument is advanced to reach target anatomy and later withdrawn or retroflexed for inspection, while an external cue may require earlier reversal. When the requested phase changes before the visual scene does, nearly identical observations can require opposite axial actions. We identify and formalize this ambiguity in bidirectional endoscopic control as intent aliasing. We propose EndoLIFT (Endoscopic Language-Instruction Flow with Trajectory Latents), a vision-language-action policy that combines explicit language-based intent conditioning with a latent-conditioned rectified-flow action expert. The policy receives RGB, a language instruction, and the previous-action state; a 32-D variational trajectory latent stochastically conditions continuous action-chunk generation. Controlled same-observation instruction swaps establish that language selects the axial mode, independently of whether the trajectory latent is present. Relative to the matched model without latent conditioning, EndoLIFT improves navigation-direction accuracy by 11.1 percentage points and reduces wrong-direction advance by 83\%. An architecture-controlled 1-bit mode-flag reference exhibits weaker canonical-anchor switching, while EndoLIFT retains 82.8\% intent-following accuracy across 44 held-out linguistic variants. In closed-loop evaluation, EndoLIFT improves overall success by 30 percentage points over EndoLIFT w/o VTL on both the seen colon phantom and the unseen lung and stomach phantoms, and completes 10/10 ex-vivo porcine-trachea trials. These results separate language-based intent selection from the trajectory latent's contribution to directional correctness and robust retraction.