Pictura: Perspective-View Self-Play at Scale for Driving
作者: Yuan Yin, Elias Ramzi, Marc Lafon, Valentin Charraut, Victor Bares, Yihong Xu, Éloi Zablocki, Alexandre Boulch, Thibault Buhet, Andrei Bursuc, Matthieu Cord
分类: cs.CV, cs.AI, cs.RO
发布日期: 2026-07-28
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Pictura以解决自我对抗训练中的观察差距问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 自我对抗训练 驾驶策略 多智能体系统 GPU加速 模拟器 深度学习 PPO算法
📋 核心要点
- 现有自我对抗训练方法依赖特权观察，导致与实际驾驶环境中的部分观察存在显著差距。
- 本文提出Pictura，通过在每一步渲染智能体的自我视角，建立了一种新的自我对抗训练机制，解决了观察差距问题。
- 使用Pictura训练的Alberti策略在500亿个智能体步骤后，接近特权策略的性能，并在新环境中表现优于特权智能体。
📝 摘要（中文）
自我对抗训练在模拟环境中能够产生强大的驾驶策略，但现有方法依赖于特权向量化观察，导致与实际驾驶环境中的部分观察存在差距。为了解决这一问题，本文提出了Pictura，一个GPU加速的多智能体驾驶模拟器，能够在每一步渲染每个智能体的自我视角，从源头上减小观察差距。通过Pictura，作者使用普通的PPO算法训练了Alberti，这是第一个直接从视角图像中训练的大规模驾驶自我对抗策略，训练过程涵盖了500亿个智能体步骤，接近特权向量化策略的驾驶性能，并在Waymo Open Motion Dataset上实现了零样本迁移，超越了特权向量化智能体的表现。
🔬 方法详解
问题定义：本文旨在解决自我对抗训练中由于依赖特权向量化观察而导致的观察差距问题。现有方法在实际应用中难以有效迁移，限制了智能体的性能。
核心思路：论文提出的核心思路是通过Pictura模拟器在每一步渲染智能体的自我视角，从而直接在真实观察条件下进行训练，避免了特权观察的依赖。
技术框架：Pictura的整体架构包括多个模块，首先是环境模拟模块，负责实时渲染智能体的视角；其次是训练模块，使用普通的PPO算法进行策略优化；最后是评估模块，验证训练策略在不同环境中的表现。
关键创新：Pictura的最大创新在于其能够在每个训练步骤中提供真实的自我视角输入，消除了传统方法中由于特权观察导致的决策不一致性。
关键设计：在训练过程中，采用了标准的PPO算法，设置了适当的超参数以优化学习效率，同时设计了适应性损失函数以平衡不同智能体间的学习进度。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用Pictura训练的Alberti策略在500亿个智能体步骤后，接近特权向量化策略的性能，并在Waymo Open Motion Dataset上实现了零样本迁移，超越了特权智能体，展示了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过提供更真实的训练环境，Pictura能够帮助提升自动驾驶系统在复杂场景下的决策能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Self-play in simulation produces robust driving policies at scale. Demonstrations of such behavior have been made using privileged vectorized observations such as exact poses and velocities, even for occluded agents. This assumes that perception is solved and introduces a representation gap with the partial observation of a deployed agent driving from the perspective view of egocentric cameras. A common fix, distilling the privileged policy into a camera-input student, leaves the student imitating decisions its own view cannot justify. Instead, we establish perspective-view self-play as a practical training regime. We introduce Pictura, a GPU-accelerated multi-agent driving simulator that renders each agent's egocentric view at every step, mitigating the representation gap at its source. Pictura sustains up to 500K agent-steps/s (2M images/s) on a single H100. Using Pictura, we train Alberti by self-play with plain PPO. It is the first large-scale driving self-play policy trained directly from perspective images, without privileged observations. Training spans 50B agent steps for ~35M km of driving. It approaches the driving performance of its privileged vectorized counterpart, and transfers zero-shot to Waymo Open Motion Dataset layouts re-rendered in Pictura, where it outperforms privileged vectorized agents. Project page: https://valeoai.github.io/Pictura/