PreGSU-A Generalized Traffic Scene Understanding Model for Autonomous Driving based on Pre-trained Graph Attention Network

📄 arXiv: 2404.10263v2 📥 PDF

作者: Yuning Wang, Zhiyuan Liu, Haotian Lin, Junkai Jiang, Shaobing Xu, Jianqiang Wang

分类: cs.CV, cs.MA

发布日期: 2024-04-16 (更新: 2025-04-25)

备注: 14 pages

💡 一句话要点

提出PreGSU以解决自动驾驶场景理解问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 场景理解 自动驾驶 图注意力网络 预训练模型 交通交互 多任务学习 自监督学习

📋 核心要点

  1. 现有的场景理解方法主要集中于单一任务，缺乏对复杂交通场景的泛化能力。
  2. 本研究提出PreGSU模型，通过图注意力网络学习交通场景的普遍交互，支持多种下游任务。
  3. 实验结果表明，PreGSU在多个数据集和下游任务上表现出色，优于单任务基线，显示出良好的泛化能力。

📝 摘要（中文）

场景理解是实现高水平自动驾驶的关键挑战之一，涉及交通元素之间的学习、提取和表示。目前的场景理解方法主要集中于单一任务，如轨迹预测和风险评估，尽管在特定指标上表现良好，但其泛化能力不足，难以适应复杂的交通环境和多样的下游需求。本研究提出了PreGSU，一个基于图注意力网络的通用预训练场景理解模型，旨在学习交通场景的普遍交互和推理，以支持多种下游任务。经过特征工程和子图模块处理，所有元素被嵌入为节点，形成动态加权图。通过四层图注意力层学习代理与车道之间的关系。预训练阶段采用自监督任务进行训练，验证了模型的泛化和理解能力。

🔬 方法详解

问题定义：本论文旨在解决现有场景理解方法在复杂交通环境中泛化能力不足的问题。现有方法通常专注于单一任务，无法有效应对多样化的下游需求和真实交通场景的复杂性。

核心思路：论文提出的PreGSU模型基于图注意力网络，旨在通过学习交通场景中元素之间的普遍交互和推理，来支持多种下游任务。通过预训练和微调的方式，模型能够有效捕捉交通元素之间的关系。

技术框架：PreGSU的整体架构包括特征工程、子图模块和四层图注意力层。首先，将所有交通元素嵌入为节点，形成动态加权图；然后，通过图注意力层学习代理与车道之间的关系。预训练阶段包括虚拟交互力建模和遮挡道路建模两个自监督任务。

关键创新：PreGSU的主要创新在于其通用性和预训练策略，能够在多个任务上进行有效的迁移学习。与现有方法相比，PreGSU不仅关注单一任务，而是通过图结构捕捉多种交互关系，提升了模型的泛化能力。

关键设计：在模型设计中，采用了动态加权图结构，四层图注意力层用于关系学习。预训练阶段的损失函数设计为支持虚拟交互力和遮挡道路建模，确保模型能够有效学习交通场景中的复杂交互。预训练参数在微调阶段被加载，以获得更详细的理解输出。

📊 实验亮点

实验结果显示，PreGSU在城市场景的轨迹预测和高速公路场景的意图识别任务中，均优于单任务驱动的基线模型，展现出良好的泛化能力。具体而言，PreGSU在所有数据集上均取得了竞争力的性能，验证了其在多样化场景中的适用性。

🎯 应用场景

该研究的PreGSU模型具有广泛的应用潜力，特别是在自动驾驶、智能交通系统和城市规划等领域。通过提升场景理解能力，PreGSU能够为自动驾驶车辆提供更准确的环境感知，进而提高行车安全性和效率。未来，该模型可能在多种交通场景中得到应用，推动智能交通技术的发展。

📄 摘要（原文）

Scene understanding, defined as learning, extraction, and representation of interactions among traffic elements, is one of the critical challenges toward high-level autonomous driving (AD). Current scene understanding methods mainly focus on one concrete single task, such as trajectory prediction and risk level evaluation. Although they perform well on specific metrics, the generalization ability is insufficient to adapt to the real traffic complexity and downstream demand diversity. In this study, we propose PreGSU, a generalized pre-trained scene understanding model based on graph attention network to learn the universal interaction and reasoning of traffic scenes to support various downstream tasks. After the feature engineering and sub-graph module, all elements are embedded as nodes to form a dynamic weighted graph. Then, four graph attention layers are applied to learn the relationships among agents and lanes. In the pre-train phase, the understanding model is trained on two self-supervised tasks: Virtual Interaction Force (VIF) modeling and Masked Road Modeling (MRM). Based on the artificial potential field theory, VIF modeling enables PreGSU to capture the agent-to-agent interactions while MRM extracts agent-to-road connections. In the fine-tuning process, the pre-trained parameters are loaded to derive detailed understanding outputs. We conduct validation experiments on three datasets and two downstream tasks, i.e., trajectory prediction in urban scenario and intention recognition in highway scenario, to verify the model's generalization and understanding capabilities. Results show that compared with single-task-driven baselines, PreGSU achieves competitive performance on all datasets and downstream tasks, indicating its potential to be generalized to various scenes and targets. Ablation study shows the effectiveness of pre-train task design.