Long-term Traffic Simulation via Structured Autoregressive Modeling

📄 arXiv: 2606.31209v1 📥 PDF

作者: Lingyu Xiao, Zexin Feng, Xintao Yan

分类: cs.AI, cs.RO

发布日期: 2026-06-30

备注: ECCV 2026 Accepted

💡 一句话要点

提出RosettaSim以解决长期交通模拟中的多智能体交互问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 交通模拟 多智能体交互 大型语言模型 结构自回归 基于检索的评估 自动驾驶 智能交通

📋 核心要点

  1. 长期交通模拟面临的核心问题是如何有效建模多智能体之间的持续交互，尤其是在代理数量动态变化的情况下。
  2. 本文提出的RosettaSim框架利用大型语言模型的注意力机制和运动标记与自然语言之间的分布一致性，快速适应交通建模。
  3. 在Waymo Open Sim Agent Challenge的实验中，RosettaSim在短期和长期模拟中均达到了最先进的性能，RTE的相关性显著高于现有方法。

📝 摘要（中文）

交互式交通模拟是自动驾驶的重要世界模型。长期模拟中的核心挑战在于建模持续的多智能体交互，尤其是在动态的代理数量变化下。本文提出通过大型序列模型（如大型语言模型）的架构归纳偏置和统计先验的协同作用来解决这一问题。我们引入了RosettaSim，一个统一框架，将场景拓扑、代理状态和生成意图投影到具有可变长度的结构自回归流中，从而实现短期准确性和长期模拟保真度的平衡。此外，我们提出基于检索的交通评估（RTE），以语义相似的真实场景作为上下文感知的参考锚点。实验结果表明，RosettaSim在短期和长期模拟中均表现出色，RTE与标准指标的相关性显著提高。

🔬 方法详解

问题定义：本文旨在解决长期交通模拟中多智能体交互的建模问题，现有方法在动态代理数量变化时表现不佳，导致模拟准确性降低。

核心思路：通过结合大型语言模型的架构归纳偏置和统计先验，利用其注意力机制的可迁移性，快速适应交通场景的建模需求。

技术框架：RosettaSim框架将场景拓扑、代理状态和生成意图整合为一个结构自回归流，支持可变长度的输入输出，确保短期和长期的模拟保真度。

关键创新：引入了基于检索的交通评估（RTE），通过检索语义相似的真实场景作为参考锚点，解决了长期模拟中代理对应关系逐渐消失的问题。

关键设计：在模型设计中，采用了重冻结的小规模大型语言模型，并在损失函数和网络结构上进行了优化，以提高模型在交通模拟中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Waymo Open Sim Agent Challenge的实验中，RosettaSim在短期和长期模拟中均达到了最先进的性能，特别是RTE的相关性达到0.83，显著高于现有方法的0.74，表明其在长期模拟保真度上的改进。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和城市规划等。通过提高交通模拟的准确性和稳定性，RosettaSim能够为自动驾驶技术的发展提供更可靠的支持，进而推动智能交通的实现。未来，该方法可能会影响交通管理和城市设计的决策过程。

📄 摘要（原文）

Interactive traffic simulation is a vital world model for autonomous driving. A central challenge in long-horizon simulation is modeling sustained multi-agent interactions, which is further exacerbated by dynamic token cardinality as agents continuously enter and exit the scene. In this work, we propose that the solution lies in the synergy between the architectural inductive biases and statistical priors of large-scale sequence models, e.g., Large Language Models (LLMs). Our probing experiments reveal that the transferability of attention mechanisms and the distributional consistency between motion tokens and natural language enable small-scale, heavily frozen LLMs to rapidly adapt to traffic modeling. Building on this insight, we introduce RosettaSim, a unified framework that projects scene topology, agent states, and spawning intents into a structured autoregressive stream with variable length, achieving both strong short-term accuracy and stable long-horizon simulation fidelity. Furthermore, evaluating extended rollouts presents yet another hurdle, as one-to-one agent correspondence inevitably fades over time. To address this, we introduce Retrieval-based Traffic Evaluation (RTE), which retrieves semantically similar real-world scenarios as context-aware reference anchors. Experiments on the Waymo Open Sim Agent Challenge (WOSAC) demonstrate that RosettaSim achieves state-of-the-art performance in both short- and long-term simulation. Furthermore, RTE exhibits a stronger correlation with standard metrics ($r=0.83$) than existing approaches ($r=0.74$), indicating improved alignment with long-horizon simulation fidelity.