LabWorld: Learning Interactive 4D Worlds for Scientific Experimentation

📄 arXiv: 2610.36592v1 📥 PDF

作者: Suozhi Huang, Kelsey Fu, Binxu Li, Luna Lyu, Kaize Wu, Wenbo Lu, David Smerkous, Jiahan Li, Siqi Zhu, Zhizhou Sha, Jiacheng Guo, Zhixuan Liang, Shilong Liu, Le Cong, Mengdi Wang

分类: cs.CV

发布日期: 2026-10-27

备注: 20 pages, 4 figures. Suozhi Huang and Kelsey Fu contributed equally

💡 一句话要点

提出LabWorld框架以重建交互式4D实验室世界

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 实验室模拟 3D重建 视频分析 自主科学代理 交互式环境 机器学习 计算机视觉

📋 核心要点

  1. 现有实验室模拟器依赖手动构建的资产和预定义程序，缺乏灵活性和真实感。
  2. LabWorld框架通过单目RGB视频重建交互式4D实验室世界，恢复3D资产和程序事件。
  3. 在移液和涡旋实验中，LabWorld的性能超越了最强基线，展示了显著的提升。

📝 摘要（中文）

自主科学代理不仅需要推理实验，还需与物理环境互动。现有实验室模拟器依赖手动构建的资产和预定义程序，而实验室视频则隐含了真实设备和交互信息。本文提出LabWorld，一个基于单目RGB视频重建交互式4D实验室世界的代理驱动Real2Sim框架。LabWorld恢复可重用的3D资产、度量场景、时变物体状态和程序事件。通过多帧观察提供互补证据，运动重建结合视觉和几何观察与事件约束，编码实验室交互的空间和时间要求。实验结果表明，LabWorld在真实的移液和涡旋视频上超越了现有基线，展示了其在科学实验中的潜力。

🔬 方法详解

问题定义：本文旨在解决现有实验室模拟器在灵活性和真实感方面的不足，尤其是如何从视频中提取有效的实验室交互信息。

核心思路：LabWorld框架通过单目RGB视频重建实验室环境，结合多帧观察和运动重建，提供更准确的3D资产和程序事件恢复。

技术框架：LabWorld的整体架构包括视频输入、3D资产恢复、场景重建、运动重建和事件检测等模块，形成一个完整的重建流程。

关键创新：LabWorld的主要创新在于其代理驱动的Real2Sim框架，能够从视频中自动提取和重建实验室的交互信息，与传统手动构建方法相比，具有更高的效率和准确性。

关键设计：在设计中，LabWorld使用了多帧观察来增强重建的准确性，并结合视觉和几何信息进行运动重建，采用事件约束来确保实验室交互的空间和时间一致性。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，LabWorld在移液任务中达到了0.501的平均Mask IoU，超越了最强基线0.033；在涡旋任务中，平均Tube-Length-Normalized PCK-AUC为0.638，超越基线0.035。此外，事件条件重建使得物理约束满足率从14.3%提升至100%。

🎯 应用场景

LabWorld框架具有广泛的应用潜力，特别是在科学实验的自动化和智能化方面。它可以为未来的自主科学代理提供更真实的实验环境，促进科学研究的效率和准确性，尤其是在教育和研究机构中具有重要价值。

📄 摘要（原文）

Autonomous scientific agents must not only reason about experiments but also interact with the physical environments in which they are executed. Existing laboratory simulators typically rely on manually constructed assets and predefined procedures, while laboratory videos capture real equipment, layouts, and interactions but leave this information implicit in pixels. We introduce LabWorld, an agent-driven Real2Sim framework for reconstructing interactive 4D laboratory worlds from monocular RGB video. LabWorld recovers reusable 3D assets, a metric scene, time-varying object states, and procedure events. Multi-frame observations provide complementary evidence for asset and scene reconstruction, while motion reconstruction combines visual and geometric observations with event constraints encoding the spatial and temporal requirements of laboratory interactions. We evaluate LabWorld on real pipetting and vortexing videos collected in our laboratory against general-purpose agentic and dedicated reconstruction baselines. For pipetting, LabWorld achieves a mean Mask IoU of 0.501, exceeding the strongest baseline by 0.033. For vortexing, it achieves a mean Tube-Length-Normalized PCK-AUC of 0.638, exceeding the strongest baseline by 0.035. On five pipetting videos, event-conditioned reconstruction increases the fraction of modeled physical constraints satisfied from 14.3% (5/35) to 100% (35/35). The resulting worlds expose geometry, motion, articulation, and events as explicit, editable state for replay, inspection, and future embodied scientific systems.