Multiplayer Interactive World Models with Representation Autoencoders
作者: Anthony Hu, Václav Volhejn, Adrien Ramanana Rahary, Chris Mulder, Aditya Makkar, Amélie Royer, Manu Orsini, Alyx Liao, Adam Jelley, Eloi Alonso, Florian Laurent, Fredrik Norén, James Swingos, Jan Hünermann, Kent Rollins, Lucas Hosseini, Matthieu Le Cauchois, Maxim Peter, Pim de Witte, Tim Brown, Vincent Micheli, Moritz Böhle, Gabriel de Marmiesse, Viktoriia Sharmanska, Lucia Specia, Michael Black, Patrick Pérez
分类: cs.CV, cs.AI, cs.LG
发布日期: 2026-07-06
备注: Technical report
💡 一句话要点
提出多玩家交互世界模型以解决动态环境中的复杂物理交互问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多玩家模型 动态环境 物理交互 生成模型 游戏AI 条件学习 长时间稳定性
📋 核心要点
- 现有的单玩家世界模型无法有效处理多代理之间的复杂交互，导致模型在动态环境中的表现不佳。
- 论文提出了一种新的多玩家世界模型，能够基于多个代理的动作流进行条件学习，从而提高场景变化的归因能力。
- 实验结果表明，该模型在生成四人比赛时表现出色，能够在单个Nvidia B200 GPU上以每秒20帧的速度稳定运行，且在长时间内保持稳定性。
📝 摘要（中文）
我们介绍了首个针对高度动态环境的多玩家世界模型，该模型能够处理复杂的物理交互。与单玩家世界模型将其他代理视为环境一部分不同，我们的模型基于多个代理的动作流进行条件学习，能够将场景变化归因于正确的玩家，并在任意组合的动作下保持一致性。我们在《火箭联盟》游戏中研究该问题，模型在10,000小时的游戏数据上训练，能够实时生成四人比赛，每秒生成20帧，且在训练范围外的稳定性表现良好。我们系统性地探讨了设计选择，包括视频编码、生成目标和多玩家条件方案，并发布了数据集和代码库以支持后续研究。
🔬 方法详解
问题定义：论文要解决的问题是如何在高度动态的环境中有效建模多玩家之间的复杂物理交互。现有的单玩家模型将其他代理视为环境的一部分，无法准确捕捉多代理的交互影响，导致生成结果不够真实和稳定。
核心思路：论文的核心思路是通过条件学习多个代理的动作流，来识别和归因场景中的变化。这种设计使得模型能够在任意组合的玩家动作下保持一致性，进而提高生成的准确性和稳定性。
技术框架：整体架构包括数据收集、模型训练和生成阶段。首先，收集了10,000小时的游戏数据用于训练；然后，构建了一个包含50亿参数的潜在扩散模型；最后，通过实时生成四人比赛的方式进行评估。
关键创新：最重要的技术创新在于引入了多玩家条件学习机制，使得模型能够独立识别每个玩家的动作对场景的影响。这与现有方法的本质区别在于，后者通常将所有代理视为环境的一部分，无法有效处理复杂的交互。
关键设计：在模型设计中，采用了特定的视频编码方式和生成目标，以优化生成质量。同时，模型的参数设置和损失函数经过精心调整，以确保在长时间生成过程中保持稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该模型在生成四人比赛时能够以每秒20帧的速度稳定运行，且在训练范围外的稳定性表现良好，最长可持续生成五分钟而不出现崩溃现象。这一性能显著优于现有的单玩家模型，展示了多玩家交互建模的潜力。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、虚拟现实和机器人控制等。通过提供一个能够理解和预测多玩家交互的模型，可以在这些领域中实现更为真实和动态的交互体验，推动相关技术的发展和应用。
📄 摘要（原文）
We introduce the first multiplayer world model for highly dynamic environments governed by complex physical interactions. Whereas single-player world models treat the other agents as part of the environment, ours conditions on the action streams of multiple agents, learning to attribute changes in the scene to the correct player and to stay coherent under arbitrary combinations of their actions. We study this problem in the game of Rocket League, where players compete and cooperate under fast, tightly coupled dynamics. Trained on 10,000 hours of gameplay collected with publicly available bots, our 5-billion-parameter latent diffusion model generates four-player matches in real time, producing 20 frames per second on a single Nvidia B200 GPU. Although trained only on short clips, its rollouts stay stable far beyond the training horizon: distributional quality holds steady out to five minutes, the longest horizon we measure, and in practice we observe rollouts continuing for hours with no sign of collapse. We systematically investigate the central design choices: the video codec, the generative objective, and the multiplayer conditioning scheme. In addition, we characterize how behavior changes with model and data scale, including the capabilities that emerge and the failure modes that persist. We further develop targeted evaluations that probe the model's physical understanding rather than visual appearance alone. To support continued research on multiplayer world models, we release our dataset, our full training and inference codebase, and a live demo.