SceneDM: Scene-level Multi-agent Trajectory Generation with Consistent Diffusion Models

📄 arXiv: 2311.15736v1 📥 PDF

作者: Zhiming Guo, Xing Gao, Jianlan Zhou, Xinyu Cai, Botian Shi

分类: cs.RO, cs.AI

发布日期: 2023-11-27

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SceneDM以解决多智能体轨迹生成一致性问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 多智能体系统 轨迹生成 扩散模型 Transformer网络 自动驾驶 智能交通 运动模拟

📋 核心要点

  1. 现有方法多集中于单一智能体类型的轨迹生成，缺乏对多智能体间一致性的考虑，导致生成的轨迹不够真实。
  2. 本文提出的SceneDM框架利用扩散模型生成所有智能体的联合轨迹，并通过Transformer网络处理智能体间的交互，提升轨迹一致性。
  3. SceneDM在Waymo Sim Agents Benchmark上表现优异，达到了最先进的结果，展示了其在多智能体运动模拟中的有效性。

📝 摘要（中文）

现实场景下的多智能体运动模拟对于自驾算法的开发与评估至关重要。然而，现有研究多集中于单一智能体类型的轨迹生成，且通常忽视生成轨迹的一致性。本文提出了一种基于扩散模型的新框架SceneDM，旨在生成场景中所有智能体（包括车辆、自行车、行人等）的联合且一致的未来运动。为增强生成轨迹的一致性，采用了一种新的基于Transformer的网络，有效处理智能体间的交互。此外，设计了一种简单而有效的一致性扩散方法，以改善模型对短期时间依赖的利用。最后，SceneDM在Waymo Sim Agents Benchmark上取得了最先进的结果。

🔬 方法详解

问题定义：本文旨在解决多智能体轨迹生成中的一致性问题。现有方法往往只关注单一类型智能体的轨迹，缺乏对多智能体交互的建模，导致生成的轨迹不够真实和一致。

核心思路：论文提出的SceneDM框架通过扩散模型生成所有智能体的联合轨迹，并引入基于Transformer的网络来处理智能体间的交互，从而增强生成轨迹的一致性。

技术框架：整体架构包括数据输入、扩散过程、智能体交互建模、轨迹生成和评估模块。首先，输入场景信息，然后通过扩散模型生成轨迹，接着利用Transformer网络处理智能体间的交互，最后评估生成轨迹的安全性和道路遵循性。

关键创新：最重要的技术创新在于引入了基于Transformer的网络来处理智能体间的交互，这一设计使得生成的轨迹在多智能体场景中更加一致，显著提升了轨迹的真实性。

关键设计：在模型设计中，采用了一致性扩散方法以改善短期时间依赖的利用，损失函数设计考虑了轨迹的平滑性和一致性，网络结构则结合了扩散模型和Transformer的优势。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Waymo Sim Agents Benchmark上，SceneDM达到了最先进的结果，显著提升了轨迹生成的一致性和真实感。与现有基线相比，生成的轨迹在安全性和道路遵循性方面表现优异，具体性能数据尚未披露。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人协作等。通过生成一致的多智能体轨迹，SceneDM能够为自驾算法的开发与评估提供更真实的模拟环境，进而提升智能交通系统的安全性和效率。未来，该方法有望在复杂场景下的多智能体协作中发挥重要作用。

📄 摘要（原文）

Realistic scene-level multi-agent motion simulations are crucial for developing and evaluating self-driving algorithms. However, most existing works focus on generating trajectories for a certain single agent type, and typically ignore the consistency of generated trajectories. In this paper, we propose a novel framework based on diffusion models, called SceneDM, to generate joint and consistent future motions of all the agents, including vehicles, bicycles, pedestrians, etc., in a scene. To enhance the consistency of the generated trajectories, we resort to a new Transformer-based network to effectively handle agent-agent interactions in the inverse process of motion diffusion. In consideration of the smoothness of agent trajectories, we further design a simple yet effective consistent diffusion approach, to improve the model in exploiting short-term temporal dependencies. Furthermore, a scene-level scoring function is attached to evaluate the safety and road-adherence of the generated agent's motions and help filter out unrealistic simulations. Finally, SceneDM achieves state-of-the-art results on the Waymo Sim Agents Benchmark. Project webpage is available at https://alperen-hub.github.io/SceneDM.