AlayaWorld: Interactive Long-Horizon World Modeling - Full Technical Report (v1.1)
作者: AlayaWorld Team, Kaipeng Zhang, Chuanhao Li, Yifan Zhan, Yongtao Ge, Yuanyang Yin, Jiaming Tan, Kang He, Liaoyuan Fan, Mingliang Zhai, Ruicong Liu, Xiaojie Xu, Xuangeng Chu, Zhen Li, Zhengyuan Lin, Zhixiang Wang, Zian Meng, Zihui Gao
分类: cs.AI
发布日期: 2026-08-13
备注: Authors are listed alphabetically by the first name and their role. See the contribution section for details
💡 一句话要点
提出AlayaWorld以改进长时间世界建模的条件信号整合
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长时间世界建模 条件信号整合 流式3D渲染 因果变分自编码器 视频生成
📋 核心要点
- 现有方法在条件信号整合上存在不足，导致生成内容的质量和一致性不佳。
- 论文提出通过流式3D点缓存渲染器和因果变分自编码器潜在空间重新设计条件信号整合方式。
- 新版本在多个方面进行了改进，显著提升了生成视频的质量和时间一致性。
📝 摘要（中文）
本报告介绍了AlayaWorld的改进版本。尽管骨干架构、块状自回归生成方案和训练数据与之前版本保持不变，但我们在条件信号的表示和整合方式上进行了重大修订。新设计遵循一个简单原则：条件信号应尽可能与生成内容在潜在表示和时间结构上匹配。为此，我们做了两项主要更改：首先，用流式3D点缓存渲染器替代了之前基于深度扭曲的空间记忆；其次，重新设计了条件管道，使视觉条件在同一因果变分自编码器潜在空间中编码，且时间统计与生成视频一致。新版本引入了六项修改，包括用运动感知潜在条件替代静态帧图像条件等。
🔬 方法详解
问题定义：本论文旨在解决长时间世界建模中条件信号整合不佳的问题。现有方法在生成内容时，条件信号的表示与生成内容之间存在较大差距，影响了生成视频的质量和一致性。
核心思路：论文的核心解决思路是通过改进条件信号的表示方式，使其在潜在表示和时间结构上与生成内容更为匹配。这一设计旨在提高生成视频的质量和一致性。
技术框架：整体架构包括流式3D点缓存渲染器和因果变分自编码器（VAE）潜在空间。条件信号通过新的管道进行编码，确保与生成内容的时间统计一致。
关键创新：最重要的技术创新点在于用运动感知潜在条件替代静态帧图像条件，以及重新设计的条件管道，使得视觉条件在同一潜在空间中编码。这与现有方法的本质区别在于更好地匹配了生成内容的时间结构。
关键设计：关键设计包括采用硬记忆丢弃策略以移除记忆标记，统一训练和推理过程中的VAE编码和解码协议，以及移除相机自适应层归一化分支，从而完全通过重新渲染的空间条件提供视角控制。
🖼️ 关键图片
📊 实验亮点
实验结果表明，新版本在生成视频的质量和一致性上有显著提升，具体性能数据尚未披露，但通过与基线的对比，展示了在条件信号整合方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和自动驾驶等场景，能够为长时间视频生成和世界建模提供更高质量的解决方案。其实际价值在于提升生成内容的真实感和一致性，未来可能推动相关领域的技术进步。
📄 摘要（原文）
This report presents an improved version of AlayaWorld. While the backbone architecture, chunk-wise autoregressive generation scheme, and training data remain unchanged from the previous release, we substantially revise how conditioning signals are represented and integrated into the model. The new design is guided by a simple principle: conditioning signals should match the generated content as closely as possible in both latent representation and temporal structure. To this end, we make two major changes. First, we replace the previous depth-warping-based spatial memory with a streaming 3D point-cache renderer. Second, we redesign the conditioning pipeline so that visual conditions are encoded in the same causal-VAE latent space, with temporal statistics consistent with those of the generated video. Concretely, the new version introduces six modifications: (1) replacing static-frame image conditioning with motion-aware latent conditioning; (2) causally encoding re-rendered spatial memory as a continuous sequence; (3) aligning the temporal-memory window in pixel space; (4) adopting hard memory dropout that removes memory tokens rather than zeroing them; (5) unifying the VAE encoding and decoding protocol across training and inference; and (6) removing the camera AdaLN branch, such that viewpoint control is provided entirely through the re-rendered spatial condition.