Sensorium: An Open-Source Multimodal Data Collection and Curation Library for Embodied Surgical AI

📄 arXiv: 2610.41946v1 📥 PDF

作者: Lorenzo Mazza, Ariel Rodriguez, Stefanie Speidel

分类: cs.AI, cs.RO

发布日期: 2026-10-30

备注: GenAI for Health Workshop @ NeurIPS 2026, Sydney

💡 一句话要点

提出Sensorium以解决多模态外科数据收集难题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据 外科人工智能 开源库 数据采集 机器人操作系统 数据处理 语义注释

📋 核心要点

  1. 现有外科数据收集方法成本高且难以重复，严重依赖硬件配置，限制了其广泛应用。
  2. Sensorium是一个开源库，旨在简化多模态外科数据的记录和处理，支持多种传感器和机器人配置。
  3. 在1516个实验记录中，Sensorium展示了良好的可用性和灵活性，能够有效支持外科AI研究。

📝 摘要（中文）

外科人工智能需要可靠的多模态数据，但外科数据的收集成本高、重复性差且高度依赖硬件设置。本文提出Sensorium，一个开源Python库，用于记录、处理、注释和整理来自可配置机器人和传感器流的多模态外科数据，利用机器人操作系统（ROS）和ROS2中间件。该库结合了面向操作员的数据采集、可配置处理、语义注释和情节数据集生成。我们在1516个包含多种外科任务和传感配置的实验中评估了Sensorium，并报告了初步的可用性反馈。

🔬 方法详解

问题定义：外科人工智能的研究需要大量可靠的多模态数据，但现有的数据收集方法往往成本高、难以重复，且对硬件配置有很强的依赖性，这限制了其应用范围和效率。

核心思路：Sensorium通过提供一个开源的Python库，整合了数据采集、处理、注释和数据集生成的功能，旨在降低外科数据收集的门槛，提高数据的可用性和灵活性。

技术框架：Sensorium的整体架构包括数据采集模块、处理模块、语义注释模块和数据集生成模块。用户可以根据具体的实验需求配置不同的传感器和机器人设置，以实现多样化的数据收集。

关键创新：Sensorium的主要创新在于其开放源代码的特性和模块化设计，使得研究人员能够根据自己的需求灵活配置和使用，显著提升了外科数据的可获取性和处理效率。

关键设计：在设计上，Sensorium支持多种传感器输入，采用ROS和ROS2中间件进行数据流管理，确保数据采集的实时性和准确性，同时提供了易于使用的接口以便于操作员进行数据注释和处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对1516个外科实验记录的评估中，Sensorium展示了良好的用户反馈和操作灵活性，能够有效支持多种外科任务和传感器配置，提升了数据收集的效率和准确性。

🎯 应用场景

Sensorium的潜在应用场景包括外科手术训练、机器人手术系统的开发与测试，以及医学研究中的数据分析。通过简化数据收集和处理流程，Sensorium能够加速外科AI的研究进展，推动智能医疗技术的发展。

📄 摘要（原文）

Embodied surgical AI requires reliable multimodal data, yet surgical data collection remains costly, difficult to repeat, and strongly dependent on the hardware setup. We present Sensorium, an open-source Python library for recording, processing, annotating, and curating multimodal surgical data from configurable robot and sensor streams using the Robot Operating System (ROS) and ROS2 middleware. The library combines operator-facing data acquisition, configurable processing, semantic annotation, and episodic dataset generation. We evaluate Sensorium across 1516 recordings of phantom, ex vivo, and in vivo porcine experiments involving multiple surgical tasks and sensing configurations, and report preliminary usability feedback.