Orca: The World is in Your Mind
作者: Yihao Wang, Yuheng Ji, Mingyu Cao, Yanqing Shen, Runze Xiao, Huaihai Lyu, Senwei Xie, Euan Liu, Klara Tian, Tianfeng Long, Yichi Zhang, Zhengliang Cai, Ruike Chen, Jifan Zhao, Ruochuan Shi, Zihan Tang, Jing Lyu, Wenxing Tan, Ningbo Zhang, Yangtao Hu, Yuming Gao, Xiansheng Chen, Junkai Zhao, Congsheng Xu, Boan Zhu, Ziqi Wang, Yupu Feng, Qiongqiong Zhang, Yingli Zhao, Yulong Ao, Shaoxuan Xie, You Liu, Guocai Yao, Leiduo Zhang, Xiaodan Liu, Yunyan Zhang, Yance Jiao, Xinyan Yang, Jiaxing Wei, Xu Liu, Tengfei Pan, Shaokai Nie, Chunlei Men, Sen Cui, Xiaojie Jin, Hongyang Li, Jianlan Luo, Yao Mu, Yunchao Wei, Jun Yan, Hang Zhao, Xiaolong Zheng, Jiaming Li, Yonghua Lin, Tiejun Huang, Zhongyuan Wang, Pengwei Wang
分类: cs.CV
发布日期: 2026-06-29
备注: Project page: https://orca-wm.github.io/
💡 一句话要点
提出Orca模型以实现对世界状态的统一理解与预测
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 状态转移建模 世界基础模型 无意识学习 有意识学习 视频理解 事件注释 下游任务评估
📋 核心要点
- 现有方法往往专注于孤立的预测任务，缺乏对世界状态的统一理解与建模能力。
- Orca通过下一状态预测建模，结合无意识和有意识学习，提供了一种新的多模态学习框架。
- 实验结果表明，Orca在文本生成、图像预测和具身动作生成等任务上超越了同规模的基线模型。
📝 摘要（中文）
我们介绍了Orca，一个通用世界基础模型的初步实例。Orca从多模态世界信号中学习统一的世界潜在空间，并通过多模态读取接口进行展示。与优化孤立的下一个标记、下一个帧或下一个动作预测不同，我们专注于下一状态预测建模，提供了一条统一的状态转移建模路径，以理解、预测和对世界采取行动。Orca通过两种互补的范式进行学习：无意识学习从连续视频中捕捉密集的自然状态转移，而有意识学习通过语言描述的事件和视觉问答监督建模稀疏的有意义状态转移。我们构建了一个大规模的世界学习数据集，包括125K小时的视频数据和160M事件注释。预训练后，Orca学习了统一的世界潜在空间。通过文本生成、图像预测和具身动作生成等三个代表性下游任务进行评估，实验结果表明，Orca在下游任务中的表现优于相似规模的专用基线，展示了其作为通用世界基础模型的潜力。
🔬 方法详解
问题定义：本论文旨在解决现有模型在理解和预测世界状态时的局限性，尤其是在多模态信号的整合与利用方面。现有方法往往专注于单一任务，缺乏对状态转移的全面建模能力。
核心思路：Orca的核心思路是通过下一状态预测建模，整合多模态信号，形成统一的世界潜在空间。通过无意识学习捕捉自然状态转移，并通过有意识学习建模有意义的事件，提升模型的理解与预测能力。
技术框架：Orca的整体架构包括两个主要学习范式：无意识学习和有意识学习。无意识学习从连续视频中提取密集状态转移，而有意识学习则利用语言描述的事件和视觉问答进行稀疏状态转移建模。预训练阶段使用了大规模的数据集，包含125K小时的视频和160M事件注释。
关键创新：Orca的主要创新在于其统一的状态转移建模方法，区别于传统的下一个标记或动作预测，提供了一种更全面的理解世界的方式。通过多模态信号的整合，Orca能够更好地捕捉复杂的状态变化。
关键设计：在模型设计中，Orca的主干网络被冻结，仅允许轻量级的模态特定解码器进行训练。这种设计确保了模型的可扩展性，同时保持了对下游任务的强大支持。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Orca在文本生成、图像预测和具身动作生成等任务上表现优异，超越了相似规模的专用基线。具体而言，Orca在下游任务中的性能提升幅度显著，验证了其强大的世界潜在空间对下游任务的支持能力。
🎯 应用场景
Orca模型在多个领域具有广泛的应用潜力，包括智能机器人、自动驾驶、虚拟现实和增强现实等。通过对世界状态的统一理解与预测，Orca能够提升这些系统的智能水平，使其在复杂环境中更有效地进行决策与行动。此外，Orca的多模态学习能力也为人机交互提供了新的可能性，促进了自然语言处理与计算机视觉的融合。
📄 摘要（原文）
We introduce Orca, an initial instantiation of a general world foundation model. Orca learns a unified world latent space from multimodal world signals and exposes it through multimodal readout interfaces. Rather than optimizing isolated next-token, next-frame, or next-action prediction, we are centered on Next-State-Prediction modeling, offering a unified state-transition modeling route toward understanding, predicting, and acting upon the world. Orca learns through two complementary paradigms: unconscious learning captures dense natural state transitions from continuous videos, and conscious learning models sparse meaningful state transitions by language-described events and VQA supervision. For pre-training, we construct a large-scale world-learning inventory data, including 125K hours of video data and 160M event annotations. After pre-training, Orca learns a unified world latent space. To examine whether the learned latent supports downstream, we evaluate it by three representative downstream readouts: text generation, image prediction, and embodied action generation. Orca's backbone is frozen, and only the lightweight modality-specific decoders are trainable. Experiments show the scalability of the proposed paradigm and verify that stronger world latent enables stronger downstream readouts. Orca outperforms similar-sized specialized baselines. These results show that Orca, as a general world foundation model, presents a promising approach to understanding, predicting, and acting upon the world. Finally, we discuss the current limitations, aiming to provide useful insights and inspiration for the community.