Surgical WAM: A World-Action Model for Data-Efficient Surgical Robot Learning
作者: Wenrui Bao, Tianyun Jiang, Zhiben Chen, Ser-Nam Lim, Peter D. Peng, Yuzhang Shang
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-08-11
💡 一句话要点
提出Surgical WAM以解决外科机器人学习中的数据稀缺问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 外科机器人 数据高效学习 闭环控制 无动作视频 视觉动态学习 双手协调 长时间推理 策略微调
📋 核心要点
- 现有方法在收集动作标记示范时面临高成本和数据稀缺的问题，限制了外科机器人学习的有效性。
- 本文提出的Surgical WAM模型通过无动作视频预训练，结合有限的动作标记数据，提升了外科操作的闭环控制能力。
- 在四个模拟外科操作任务中，Surgical WAM的成功率从63.5%提升至77.8%，尤其在复杂任务中表现出显著的改进。
📝 摘要（中文）
学习可靠的外科操作策略受到动作标记示范稀缺的制约：遥控外科机器人（如dVRK）轨迹与同步运动学的收集成本高，而外科任务需要精确的接触处理、长时间推理和双手协调。相比之下，内窥镜视频相对便宜且丰富，然而现有的外科世界模型主要用于仿真或策略评估，鲜有将学习到的动态转化为闭环控制。为此，本文提出了外科世界-动作模型（Surgical WAM），该模型在固定的动作标记预算下，利用无动作视频预训练来改善闭环外科操作。实验结果表明，视频预训练将平均成功率从63.5%提升至77.8%，在接触丰富和双手任务上提升尤为显著。
🔬 方法详解
问题定义：本文旨在解决外科机器人学习中因动作标记示范稀缺而导致的策略学习瓶颈。现有方法主要依赖于高成本的同步视频-运动学轨迹，难以有效利用丰富的内窥镜视频数据。
核心思路：Surgical WAM模型通过无动作视频预训练学习外科视觉动态，然后在固定的动作标记预算上进行微调，最终实现闭环控制。这种设计旨在利用低成本视频数据来增强学习效果。
技术框架：Surgical WAM的整体架构包括两个主要阶段：首先是从无动作视频中学习视觉动态，其次是在有限的动作标记数据上进行微调。模型在部署时作为闭环控制器，执行预测的动作块的前缀并根据观察结果重新规划。
关键创新：Surgical WAM的核心创新在于将无动作视频的学习与有限的动作标记数据结合，形成了一种新的数据高效学习路径。这与现有方法主要依赖于动作标记示范的方式有本质区别。
关键设计：模型的关键设计包括损失函数的选择、网络结构的优化以及如何有效地从视频中提取动态信息。这些设计确保了模型在有限数据下的学习效率和效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Surgical WAM在四个模拟外科操作任务中的成功率从63.5%提升至77.8%，在PegTransfer任务中实现了20个百分点的绝对增益，尤其在接触丰富和双手协调任务中表现出显著的改进，验证了无动作视频预训练的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在外科机器人领域。通过提高学习效率，Surgical WAM可以加速外科机器人的开发与部署，降低训练成本，提升手术的安全性和精确性。未来，该方法还可扩展至其他需要高精度操作的领域，如微创手术和自动化制造。
📄 摘要（原文）
Learning reliable surgical manipulation policies is bottlenecked by the scarcity of action-labeled demonstrations: teleoperated surgical robot (e.g., dVRK) trajectories with synchronized kinematics are costly to collect, while surgical tasks demand precise contact handling, long-horizon reasoning, and bimanual coordination. Endoscopic video is comparatively inexpensive and abundant relative to synchronized video--kinematics trajectories, and a natural way to exploit it is to learn world models of surgical scenes. However, existing surgical world models use video primarily for simulation or policy evaluation, and rarely translate the learned dynamics into closed-loop control. This gap raises our central question: under a fixed budget of action-labeled demonstrations, does action-free video pretraining improve closed-loop surgical manipulation? To answer it, we introduce the Surgical World-Action Model (Surgical WAM), a unified generative model built on Cosmos Policy that jointly predicts future endoscopic observations and executable surgical robot action chunks. Surgical WAM first learns surgical visual dynamics from action-free video and is then fine-tuned on the fixed action-labeled budget; at deployment, it acts as a closed-loop, receding-horizon controller that executes a short prefix of each predicted action chunk and replans from the resulting observation. On a suite of four simulated surgical manipulation tasks, video pretraining improves the average success rate from 63.5% to 77.8%, including an absolute gain of 20 percentage points on PegTransfer, with the largest improvements on contact-rich and bimanual tasks. These results demonstrate that action-free video provides transferable visual dynamics priors for learning surgical robot control with limited action supervision, positioning data-efficient video pretraining as a practical path toward scaling up surgical robot learning.