ActOR: Ambient AI-Based Agentic Orchestration for Humanoid Autonomy in Operating Rooms

📄 arXiv: 2611.04255v1 📥 PDF

作者: Han Zhang, Sicheng Lu, Aleks Santari, Jeffrey K. Jopling, Masaru Ishii, Mathias Unberath

分类: cs.RO

发布日期: 2026-11-03

💡 一句话要点

提出ActOR以解决手术室中人形机器人自主性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 环境感知 人形机器人 自主规划 数字双胞胎 闭环反馈 手术室应用 人工智能

📋 核心要点

  1. 现有方法在手术室中部署人形机器人时，受限于部分观测导致的复杂规划和方向感问题。
  2. 论文提出通过环境AI与人形机器人结合，利用共享感知和执行反馈来提升机器人自主性。
  3. 实验表明，环境感知减少了探索调用次数，成功率在不同条件下显著提高，展示了方法的有效性。

📝 摘要（中文）

手术室（OR）越来越多地配备环境感知基础设施，以实现基于人工智能的工作流程和利用率优化。本文提出了一种新方法，利用环境AI引导机器人行动并优化利用率。通过将环境AI驱动的代理协调器与人形机器人结合，提供共享感知和执行反馈，从而提升人形机器人在手术室中的自主性。ActOR将墙面安装的环境摄像头与机器人头戴摄像头融合为共享的对象级数字双胞胎（DT）。在执行过程中，DT的更新和执行结果为重试、替代方法或重新规划提供了信息。实验结果表明，环境感知显著减少了探索次数，并提高了任务成功率，展示了在模拟和实际环境中实现人形机器人多步骤任务自主性的可行性。

🔬 方法详解

问题定义：本文旨在解决在手术室中部署人形机器人时，由于缺乏环境感知而导致的复杂规划和方向感问题。现有方法依赖于机器人自身的观测，限制了其自主性和效率。

核心思路：论文提出将环境AI驱动的代理协调器与人形机器人相结合，利用共享的环境感知信息和执行反馈来优化机器人行动。这种设计使机器人能够在复杂环境中更有效地进行任务规划和执行。

技术框架：整体架构包括环境摄像头和机器人摄像头的融合，形成共享的数字双胞胎（DT）。大语言模型代理在DT上进行规划，执行过程中实时更新DT，并根据执行结果进行调整。

关键创新：最重要的创新在于将环境感知与机器人行动相结合，形成闭环反馈机制。这与传统方法的单一机器人观测方式有本质区别，显著提升了任务成功率和效率。

关键设计：在技术细节上，使用了预编程的运动和操作技能，且不需要针对特定任务的训练。通过实时更新DT和反馈执行结果，优化了多步骤任务的成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在模拟手术室中，环境感知将探索调用次数从1.05减少到0.12，闭环反馈下成功率从46.7%提升至83.3%。在实际模拟手术室中，ActOR在20次单对象处置试验中成功完成14次，展示了其在动态环境中的适应能力。

🎯 应用场景

该研究的潜在应用领域包括手术室、医疗机器人、智能制造等场景。通过提升人形机器人的自主性，能够有效减轻医务人员的负担，提高手术室的工作效率和安全性，未来可能在更多复杂环境中推广应用。

📄 摘要（原文）

Operating rooms (ORs) increasingly contain ambient sensing infrastructure to enable AI-based optimization of workflows and utilization. We pursue an alternative path: using ambient AI to guide robot action and optimize utilization. Deploying humanoids in the OR without ambient AI is severely limited by cumbersome de novo orientation and planning due to partial onboard observations. We posit that this can be achieved by coupling an ambient AI-based agentic orchestrator with the humanoid robotic actor, providing shared perception and execution feedback for humanoid autonomy in the OR. ActOR fuses a wall-mounted ambient camera and the robot's head-mounted camera into a shared object-level digital twin (DT). A large language model agent plans over the DT using pre-programmed locomotion and manipulation skills without task-specific training. During execution, DT updates and execution outcomes inform retries, alternative approaches, or replanning. We evaluated ActOR in simulated and physical environments. Across three tasks in two simulated ORs reconstructed from real rooms, ambient perception reduced exploration from 1.05 to 0.12 Explore calls per trial when targets were initially outside the robot's view. Closed-loop feedback increased success from 46.7% to 83.3% under nominal execution and from 8.3% to 51.7% under injected navigation, object-relocation, and grasp perturbations. In a physical mock OR with a humanoid, ActOR completed 14 of 20 single-object disposal trials and demonstrated replanning after scene changes. Ambient AI-based observations provide scene state that improves robot action planning, increasing success and reducing exploration compared with robot-only observations. Feeding skill outcomes and DT updates back to the planner improves multi-step task success. Our results show the feasibility of humanoid task autonomy for multi-step disposal tasks in a mock OR.