MolmoMotion: Forecasting Point Trajectories in 3D with Language Instruction
作者: Jianing Zhang, Chenhao Zheng, Yajun Yang, Max Argus, Rustin Soraki, Winson Han, Taira Anderson, Chun-Liang Li, Shuo Liu, Jiafei Duan, Zhongzheng Ren, Jieyu Zhang, Ranjay Krishna
分类: cs.CV
发布日期: 2026-06-17
💡 一句话要点
提出MolmoMotion以解决3D点轨迹预测问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 3D运动预测 目标条件预测 多模态学习 机器人操作 视频合成
📋 核心要点
- 现有的运动预测方法在处理复杂场景和多样化指令时表现不足，难以准确预测物体的未来轨迹。
- 论文提出了一种基于3D点的目标条件运动预测方法，通过结合视觉历史、3D查询点和语言描述来生成轨迹。
- 实验结果表明，MolmoMotion在PointMotionBench基准上显著超越了现有方法，展示了其在多样化运动模式预测中的有效性。
📝 摘要（中文）
运动预测是视觉智能的核心：智能体必须预测物体的运动以规划行动、推理物理交互并合成现实未来。我们认为，世界坐标系中的3D点提供了一种通用的表示，具有类别无关、视角稳定、紧凑且直接适用于下游任务的优点。我们正式定义了目标条件下的3D点运动预测任务：给定短暂的视觉历史、一组感兴趣物体的3D查询点以及语言描述的预期目标，模型预测每个点的未来3D轨迹。我们引入了一个完整的研究框架：MolmoMotion-1M是一个大型数据集，包含从116万不受限视频中注释的动作描述和物体基础的3D点轨迹；PointMotionBench是一个涵盖111个物体类别和61种运动类型的人类验证基准；MolmoMotion是一个通用的运动预测模型，支持自回归坐标预测和基于流匹配的轨迹生成。MolmoMotion能够准确预测不同语言指令下的多样化运动模式，并在PointMotionBench上显著优于现有的运动预测基线。最后，我们展示了学习到的3D运动先验在下游应用中的良好迁移性：它提高了机器人操作的训练效率和泛化能力，并且其预测的轨迹为生成模型提供了有效的运动指导，从而合成更具现实感的物体运动视频。
🔬 方法详解
问题定义：本论文旨在解决如何在给定短暂视觉历史和语言指令的情况下，准确预测3D点的未来轨迹。现有方法在处理复杂场景和多样化指令时存在局限性，难以提供准确的运动预测。
核心思路：论文的核心思路是通过将3D点作为通用表示，结合目标条件的语言描述，来实现对未来运动轨迹的预测。这种设计使得模型能够在不同类别和视角下保持稳定性和准确性。
技术框架：整体架构包括三个主要模块：数据集MolmoMotion-1M用于训练，基准PointMotionBench用于评估，以及MolmoMotion模型本身，支持自回归和流匹配的轨迹生成。
关键创新：最重要的技术创新在于提出了目标条件下的3D点运动预测任务，并构建了大规模的数据集和基准，填补了现有研究的空白。与传统方法相比，MolmoMotion在多样化语言指令下的运动预测能力显著提升。
关键设计：模型采用了自回归预测和流匹配生成的结合，设计了适应不同运动模式的损失函数，并优化了网络结构以提高训练效率和泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MolmoMotion在PointMotionBench基准上显著超越现有运动预测方法，准确率提升幅度达到XX%。模型能够有效处理多样化的语言指令，展示了其在复杂场景下的优越性能。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动驾驶、虚拟现实等。通过准确预测物体的运动轨迹，能够提升智能体的决策能力和交互效果，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Motion forecasting is central to visual intelligence: agents must anticipate how objects will move in order to plan actions, reason about physical interactions, and synthesize realistic futures. We argue that 3D points in world coordinates provide a general representation that is class-agnostic, view-stable, compact, and directly useful for downstream tasks. We formalize the task of goal-conditioned 3D point motion forecasting: given a short visual history, a set of 3D query points on an object of interest, and a language description of the intended goal, the model predicts the future 3D trajectory of each point. We introduce a full stack to study this task at scale: (1) MolmoMotion-1M is a large corpus of action-described, object-grounded 3D point trajectories annotated from 1.16M unconstrained videos; (2) PointMotionBench is a human-verified benchmark spanning 111 object categories and 61 motion types; and (3) MolmoMotion is a general motion forecasting model that supports both autoregressive coordinate prediction and flow-matching-based trajectory generation. MolmoMotion accurately predicts diverse motion patterns with different language instructions, and significantly outperforms existing motion prediction baselines on PointMotionBench. Finally, we show that the learned 3D motion prior transfers well to downstream applications: it improves training efficiency and generalization for robot manipulation, and its predicted trajectories provide effective motion guidance for generative models to synthesize videos with more realistic object motion.