$μ_0$: A Scalable 3D Interaction-Trace World Model
作者: Seungjae Lee, Yoonkyo Jung, Jusuk Lee, Jonghun Shin, Amir Hossein Shahidzadeh, Yao-Chih Lee, H. Jin Kim, Jia-Bin Huang, Furong Huang
分类: cs.RO, cs.CV, cs.LG
发布日期: 2026-06-11
💡 一句话要点
提出$μ_0$以解决机器人学习中的可扩展性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D轨迹预测 可扩展世界模型 机器人学习 多模态监督 无具身动作标签
📋 核心要点
- 现有的机器人学习方法依赖于具身特定的动作标签，限制了其可扩展性和通用性。
- $μ_0$通过预测3D轨迹而非密集像素或直接建模动作，提供了一种与具身无关的运动接口。
- $μ_0$在2D和3D轨迹预测中超越了基线模型，显示出其在跨具身操作中的可转移性和有效性。
📝 摘要（中文）
世界模型能够捕捉动作如何引发物理变化，从而实现无需依赖特定于具身的动作标签的可扩展机器人学习。现有的像素空间视频模型虽然提供了广泛的视觉先验，但在密集外观重建上消耗了模型容量，而直接的动作模型则需要具身特定的标签，限制了可扩展性。本文提出了$μ_0$，一种基于3D轨迹的可扩展世界模型。$μ_0$预测显著交互点（如物体、工具、手和接触区域）的平滑3D轨迹，提供了一种紧凑的、与具身无关的运动接口。为了从多样的视频源进行训练，我们的TraceExtract系统自动提取3D监督，通过选择关键点、构建全局对齐轨迹以及将运动片段与层次语言标题关联来实现。实验表明，$μ_0$在2D和3D轨迹预测上均优于基线模型，且其结果与经过动作监督预训练的VLA模型（如$π_0$）的性能相当。
🔬 方法详解
问题定义：本文旨在解决现有机器人学习方法中对具身特定动作标签的依赖，导致可扩展性不足的问题。现有的像素空间模型和直接动作模型在处理多样化视频源时面临挑战。
核心思路：$μ_0$的核心思路是通过预测显著交互点的平滑3D轨迹，提供一种紧凑且与具身无关的运动接口，从而实现可扩展的机器人学习。
技术框架：整体架构包括TraceExtract系统，该系统自动提取3D监督，选择关键点、构建全局对齐轨迹，并将运动片段与层次语言标题关联。$μ_0$结合了预训练的视觉-语言骨干和模块化轨迹专家。
关键创新：最重要的技术创新在于通过3D轨迹的预测来替代传统的密集像素重建和具身特定动作建模，使得模型在多样化输入下依然保持高效性和可扩展性。
关键设计：关键设计包括使用B样条控制点表示每个查询，预测未来轨迹，并通过TraceExtract系统进行3D监督的自动提取。模型的损失函数和网络结构经过优化，以确保在多模态输入下的高效学习。
🖼️ 关键图片
📊 实验亮点
实验结果表明，$μ_0$在2D和3D轨迹预测任务中均显著优于基线模型，尤其在与经过动作监督的VLA模型（如$π_0$）的比较中，$μ_0$的性能表现出竞争力，展示了其在跨具身操作中的有效性和可转移性。
🎯 应用场景
$μ_0$的研究成果在机器人操作、自动化制造、虚拟现实等领域具有广泛的应用潜力。通过提供可扩展的3D轨迹预测，机器人能够更灵活地适应不同的操作环境和任务，提升其智能化水平和自主性。
📄 摘要（原文）
World models that capture how actions induce physical change enable scalable robot learning without reliance on embodiment-specific action labels. Pixel-space video models provide broad visual priors but expend model capacity on dense appearance reconstruction, while direct action models require embodiment-specific labels that hinder scalability. We present $μ_0$, a scalable world model based on 3D traces. Rather than predicting dense pixels or directly modeling actions, $μ_0$ forecasts smooth 3D trajectories for salient interaction points such as objects, tools, hands, and contact regions, yielding a compact, embodiment-agnostic motion interface. To enable training from diverse video sources, our TraceExtract system automatically extracts 3D supervision by selecting keypoints, constructing globally aligned traces, and associating motion segments with hierarchical language captions. This TraceExtract supervision pretrains $μ_0$ by combining a pretrained vision-language backbone with a modular trace expert, which represents each query via B-spline control points and predicts future traces. Experiments show that $μ_0$ outperforms baselines in both 2D and 3D trace prediction, including trace prediction models and tokenized VLM methods. Because $μ_0$ is frozen and reusable, it can be paired with action experts for downstream robot embodiments. Despite action-free pretraining, the resulting trace-conditioned policies achieve performance competitive with VLA models pretrained with action supervision, such as $π_0$. These results establish 3D traces as a scalable and transferable representation for cross-embodiment manipulation.