PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation
作者: Wenlong Huang, Yu-Wei Chao, Arsalan Mousavian, Ming-Yu Liu, Dieter Fox, Kaichun Mo, Li Fei-Fei
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-01-07
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
PointWorld：通过大规模3D世界模型实现野外环境机器人操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)
关键词: 3D世界模型 机器人操作 点云 模型预测控制 深度学习 预训练 强化学习
📋 核心要点
- 现有机器人操作方法难以泛化到复杂环境，且依赖特定机器人结构，限制了跨机器人学习能力。
- PointWorld将状态和动作统一为3D点流，实现对机器人动作的物理几何条件推断，并促进跨机器人学习。
- PointWorld在真实Franka机器人上实现了刚体推动、可变形物体操作和工具使用，无需演示或后训练。
📝 摘要（中文）
本文提出PointWorld，一个大规模预训练的3D世界模型，它将状态和动作统一在共享的3D空间中，表示为3D点流。给定一个或几个RGB-D图像以及一系列低级机器人动作指令，PointWorld预测3D空间中每个像素的位移，以响应给定的动作。通过将动作表示为3D点流，而不是特定于机器人的动作空间（例如，关节位置），这种方法可以直接基于机器人的物理几何形状进行条件推断，同时无缝地整合跨不同机器人的学习。为了训练该3D世界模型，作者构建了一个大规模数据集，涵盖真实和模拟的开放世界环境中的机器人操作，总计约200万条轨迹和500小时的数据，涉及单臂Franka机器人和双臂人形机器人。通过对骨干网络、动作表示、学习目标、部分可观察性、数据混合、领域迁移和规模化进行严格的大规模实证研究，总结了大规模3D世界建模的设计原则。PointWorld具有实时的（0.1秒）推理速度，可以有效地集成到模型预测控制（MPC）框架中进行操作。实验表明，单个预训练的检查点使真实的Franka机器人能够执行刚体推动、可变形和铰接物体操作以及工具使用，而无需任何演示或后训练，并且所有操作都基于在野外捕获的单个图像。
🔬 方法详解
问题定义：现有机器人操作方法通常依赖于特定机器人的动作空间（例如关节位置），这限制了模型在不同机器人之间的泛化能力。此外，这些方法在复杂、开放世界的环境中的表现往往不佳，需要大量的训练数据和人工干预。现有方法难以直接从视觉输入预测未来状态，尤其是在部分可观测的情况下。
核心思路：PointWorld的核心思路是将机器人操作问题转化为3D点流预测问题。通过将状态和动作都表示为3D空间中的点云及其位移，模型可以直接学习物理几何关系，而无需依赖于特定机器人的结构。这种表示方法使得模型能够更好地理解环境，并预测动作对环境的影响。
技术框架：PointWorld的整体框架包括以下几个主要模块：1) RGB-D图像输入：从环境中获取RGB-D图像作为输入。2) 3D点云表示：将RGB-D图像转换为3D点云表示。3) 动作编码：将机器人动作指令编码为3D点流。4) 3D世界模型：使用神经网络预测在给定动作下的3D点云位移。5) 模型预测控制（MPC）：将预测的未来状态用于优化控制策略。
关键创新：PointWorld的关键创新在于其3D点流表示方法。与传统的动作空间表示相比，3D点流能够更好地捕捉机器人与环境之间的物理交互。此外，PointWorld通过大规模的预训练，学习到了通用的3D世界模型，从而能够泛化到不同的任务和环境。
关键设计：PointWorld的关键设计包括：1) 大规模数据集：使用包含真实和模拟数据的200万条轨迹进行训练。2) 3D点流表示：将动作表示为3D点云的位移。3) 神经网络结构：使用Transformer网络进行3D点云的特征提取和位移预测。4) 损失函数：使用L1损失函数来衡量预测位移与真实位移之间的差异。5) 数据增强：采用随机旋转、缩放和平移等数据增强方法来提高模型的鲁棒性。
📊 实验亮点
PointWorld在真实Franka机器人上进行了实验，结果表明，单个预训练的检查点使机器人能够执行刚体推动、可变形和铰接物体操作以及工具使用，而无需任何演示或后训练。该模型具有实时的（0.1秒）推理速度，可以有效地集成到模型预测控制（MPC）框架中进行操作。这些结果表明，PointWorld具有很强的泛化能力和实用价值。
🎯 应用场景
PointWorld具有广泛的应用前景，包括工业自动化、家庭服务机器人、医疗机器人等领域。它可以用于实现复杂的机器人操作任务，例如物体抓取、装配、清洁等。通过预训练的3D世界模型，机器人可以在未知环境中自主学习和适应，从而提高其智能化水平和工作效率。未来，PointWorld可以进一步扩展到多机器人协作、人机交互等更复杂的场景。
📄 摘要（原文）
Humans anticipate, from a glance and a contemplated action of their bodies, how the 3D world will respond, a capability that is equally vital for robotic manipulation. We introduce PointWorld, a large pre-trained 3D world model that unifies state and action in a shared 3D space as 3D point flows: given one or few RGB-D images and a sequence of low-level robot action commands, PointWorld forecasts per-pixel displacements in 3D that respond to the given actions. By representing actions as 3D point flows instead of embodiment-specific action spaces (e.g., joint positions), this formulation directly conditions on physical geometries of robots while seamlessly integrating learning across embodiments. To train our 3D world model, we curate a large-scale dataset spanning real and simulated robotic manipulation in open-world environments, enabled by recent advances in 3D vision and simulated environments, totaling about 2M trajectories and 500 hours across a single-arm Franka and a bimanual humanoid. Through rigorous, large-scale empirical studies of backbones, action representations, learning objectives, partial observability, data mixtures, domain transfers, and scaling, we distill design principles for large-scale 3D world modeling. With a real-time (0.1s) inference speed, PointWorld can be efficiently integrated in the model-predictive control (MPC) framework for manipulation. We demonstrate that a single pre-trained checkpoint enables a real-world Franka robot to perform rigid-body pushing, deformable and articulated object manipulation, and tool use, without requiring any demonstrations or post-training and all from a single image captured in-the-wild. Project website at https://point-world.github.io/.