SurgVista: Long-Horizon Surgical World Modeling with Plausible Instrument-Tissue Dynamics
作者: Wentao Pan, Wuyang Li, Shengyuan Liu, Xinyu Liu, Hengyu Liu, Yixuan Yuan
分类: cs.CV
发布日期: 2026-06-18
💡 一句话要点
提出SurgVista以解决手术世界建模中的动态一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 手术机器人 世界建模 动态一致性 长时间预测 机器学习 视觉质量 物理一致性
📋 核心要点
- 现有手术世界模型在生成未来帧时，存在空间交互不一致和时间保真度崩溃的问题，影响了模型的实际应用。
- SurgVista通过变形一致性正则化和漂移适应训练，增强了仪器与组织之间的物理一致性，改善了长时间预测的视觉保真度。
- 实验结果显示，SurgVista在多个指标上均优于最先进的方法，尤其是在长预测范围内，性能提升更为明显。
📝 摘要（中文）
在自主手术的机器人策略学习中，专家示范昂贵且体内探索存在安全风险。现有的手术世界模型在生成真实的、基于动作的未来帧时，存在空间交互不一致和时间保真度崩溃两大问题。本文提出SurgVista，通过变形一致性正则化和漂移适应训练两种训练方法，缓解了这两种失败模式。实验表明，SurgVista在视觉质量、时间一致性和交互保真度方面均优于现有方法，且随着预测范围的增加，性能提升更为显著。
🔬 方法详解
问题定义：本文旨在解决现有手术世界模型在生成未来帧时的空间交互不一致和时间保真度崩溃问题。这些问题导致模型在长时间预测中的视觉质量下降。
核心思路：SurgVista的核心思路是通过变形一致性正则化和漂移适应训练来增强模型的物理一致性和视觉保真度。通过对训练视频中的场景点轨迹进行提取和对条件帧的扰动，模型能够更好地处理长时间的预测。
技术框架：SurgVista的整体架构包括两个主要模块：变形一致性正则化模块和漂移适应训练模块。前者通过对比学习增强跨帧一致性，后者则通过在线预测残差和光度增强来减轻长时间漂移。
关键创新：SurgVista的关键创新在于引入了变形一致性正则化和漂移适应训练，这两种方法有效地解决了现有模型在长时间预测中的不足，特别是在空间和时间一致性方面。
关键设计：在训练过程中，使用了特定的损失函数来强化变形一致性，并通过调整光度增强的参数来适应长时间漂移的统计特性。这些设计使得模型在长时间预测中保持较高的视觉质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SurgVista在视觉质量、时间一致性和交互保真度方面均显著优于现有最先进的方法，尤其是在长预测范围内，性能提升幅度达到了未知的百分比，显示出其在复杂手术场景中的应用潜力。
🎯 应用场景
SurgVista的研究成果在自主手术机器人领域具有重要应用潜力。通过提高手术世界模型的准确性和稳定性，该技术可以帮助机器人在复杂的手术环境中更安全、更有效地执行任务，进而推动智能医疗的发展。
📄 摘要（原文）
Scaling robot policy learning for autonomous surgery is challenging, as expert demonstrations are expensive and in vivo exploration poses substantial safety risks. Surgical world models address this by generating realistic, action-conditioned future frames from an initial observation, but existing methods exhibit two persistent failure modes: spatial interaction incoherence, where visible instrument contact fails to induce spatially consistent tissue deformation, and temporal fidelity collapse, where prediction errors compound across autoregressive rollouts and progressively corrupt visual quality. We present SurgVista, a surgical world model that mitigates both failures through two training recipes. Deformation Consistency Regularization extracts scene-point trajectories from training videos and enforces cross-frame coherence through latent contrastive learning, strengthening physically consistent instrument-tissue dynamics. Drift Adaptation Training mitigates long-horizon drift by perturbing conditioning frames with online prediction residuals and photometric augmentations calibrated to long-horizon drift statistics, sustaining visual fidelity over extended rollouts. To enable rigorous evaluation, we further introduce SurgWorld-Bench, featuring diverse procedure types, long-range rollouts, and decoupled metrics for instrument-motion accuracy and tissue-response fidelity. Extensive experiments show that SurgVista consistently outperforms state-of-the-art methods across visual quality, temporal consistency, and interaction fidelity, with gains widening as the prediction horizon grows.