Riemann-1.0: An Embodied World Action Model for Physical AI

📄 arXiv: 2608.27033v1 📥 PDF

作者: Haofeng Sun, Jiangbo Pei, Fei Kang, Zexiang Liu, Yaokun Li, Boyi Jiang, Hua Xue, Cindy Zhou, Wei Li, Yichen Wei, Mengyin An, Fanliang Zhao, Biao Jiang, Zile Wang, Yang Liu, Yangguang Li

分类: cs.RO

发布日期: 2026-08-27

💡 一句话要点

提出Riemann-1.0以解决物理AI中的世界动作建模问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 物理AI 世界动作模型 因果建模 机器人操作 多模态数据

📋 核心要点

  1. 现有的世界动作模型在联合生成和视频优先预测方面存在局限，难以有效整合多种数据源。
  2. Riemann-1.0通过统一的因果自回归序列模型，整合视觉观察、机器人状态和动作，提升了模型的执行能力和模拟效果。
  3. 在多个基准测试中，Riemann-1.0的成功率显著高于之前的最佳方法，展示了其在长时间操作任务中的优越性。

📝 摘要（中文）

我们介绍了Riemann-1.0，一种完全因果自回归的世界动作模型，旨在实现具身智能。Riemann-1.0在统一的因果自回归序列中联合建模多视角视觉观察、机器人状态和具身特定动作，将机器人动作和世界演变表示为因果状态转移。与现有的基于联合生成、视频优先预测或解耦建模范式的世界动作模型不同，Riemann-1.0将在线机器人策略执行和动作条件下的世界模拟统一在一个模型中，使其既可以作为可执行的机器人策略，也可以作为多具身视觉世界模拟器。基于20万小时以上的交互数据，Riemann-1.0有效地将大规模具身经验转化为可执行的机器人操作能力，并在模拟基准和真实世界操作任务中实现了最先进的性能。

🔬 方法详解

问题定义：本论文旨在解决现有世界动作模型在多模态数据整合和在线策略执行中的不足，现有方法往往无法有效利用多源数据进行综合建模。

核心思路：Riemann-1.0的核心思路是通过因果自回归序列，统一建模视觉观察、机器人状态和动作，从而实现更高效的策略执行和世界模拟。

技术框架：该模型包括多个模块，首先是数据输入模块，接着是因果建模模块，最后是策略执行和世界模拟模块，确保了模型的整体一致性和高效性。

关键创新：Riemann-1.0的最大创新在于将在线策略执行与动作条件下的世界模拟结合在一个模型中，突破了传统模型的局限性。

关键设计：在设计上，模型使用了特定的损失函数来优化因果关系的学习，并采用了深度神经网络结构来处理多模态输入，确保了模型的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Riemann-1.0在多个基准测试中表现优异，RoboTwin2.0的成功率达到94.3%，LIBERO为99.0%，而在长时间组合基准RoboCasa-365中成功率为62.6%，超越了之前最佳方法8.4%。在长时间真实世界操作任务中，成功率达到85.0%，进步成功率为94.4%，比最强开源基线高出15%。

🎯 应用场景

Riemann-1.0在机器人操作、智能家居、自动驾驶等领域具有广泛的应用潜力。通过有效整合多种数据源，该模型能够提升机器人在复杂环境中的操作能力，推动物理AI的发展。未来，该技术可能在智能制造和人机协作中发挥重要作用。

📄 摘要（原文）

We introduce Riemann-1.0, a fully causal autoregressive World Action Model for embodied intelligence. Riemann-1.0 jointly models multi-view visual observations, robot states, and embodiment-specific actions within a unified causal autoregressive sequence, representing robot actions and world evolution as causal state transitions. Unlike existing WAMs based on joint generation, video-first prediction, or decoupled modeling paradigms, Riemann-1.0 unifies online robot policy execution and action-conditioned world simulation within a single model, enabling it to function as both an executable robot policy and a multi-embodiment visual world simulator. To scale embodied experience across heterogeneous data sources, we further develop a progressive embodied pretraining framework that unifies learning from egocentric human videos, handheld-gripper demonstrations, and heterogeneous robot trajectories under a shared World Action Modeling objective. Built upon 200K+ hours of interaction data, Riemann-1.0 progressively transfers large-scale embodied experience into executable robot manipulation capabilities. Riemann-1.0 achieves state-of-the-art performance across both simulation benchmarks and real-world manipulation tasks. It achieves success rates of 94.3% on RoboTwin2.0, 99.0% on LIBERO, and 62.6% on the long-horizon compositional benchmark RoboCasa-365, outperforming the previous best method by 8.4% On long-horizon real-world manipulation tasks, Riemann-1.0 achieves a Success Rate (SR) of 85.0% and a Progress Success Rate (PSR) of 94.4%, exceeding the strongest open-source baseline by 15% in SR. These results demonstrate that unified World Action Modeling together with progressive embodied pretraining effectively transforms large-scale embodied experience into generalizable robot manipulation capabilities.