LLM-MLFFN: Multi-Level Autonomous Driving Behavior Feature Fusion via Large Language Model

📄 arXiv: 2603.02528v1 📥 PDF

作者: Xiangyu Li, Tianyi Wang, Xi Cheng, Rakesh Chowdary Machineni, Zhaomiao Guo, Sikai Chen, Junfeng Jiao, Christian Claudel

分类: cs.AI, cs.RO

发布日期: 2026-03-03

💡 一句话要点

提出LLM-MLFFN，利用大语言模型融合多层次特征，提升自动驾驶行为分类精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 行为分类 大语言模型 多层次特征融合 语义理解

📋 核心要点

  1. 现有自动驾驶行为分类方法依赖数值建模，缺乏语义抽象，导致解释性和鲁棒性不足。
  2. LLM-MLFFN利用大语言模型提取语义特征，并设计多层次融合网络，结合数值和语义信息。
  3. 实验表明，LLM-MLFFN在Waymo数据集上分类精度超过94%，显著优于现有方法。

📝 摘要（中文）

本文提出了一种新颖的基于大语言模型（LLM）增强的多层次特征融合网络LLM-MLFFN，旨在解决自动驾驶车辆（AV）驾驶行为分类的复杂性。精确的驾驶行为分类对于安全验证、性能诊断和交通集成分析至关重要。现有方法主要依赖于数值时间序列建模，缺乏语义抽象，限制了解释性和复杂交通环境中的鲁棒性。LLM-MLFFN集成了大规模预训练模型的先验知识，并采用多层次方法来提高分类精度。该框架包含三个核心组件：多层次特征提取模块（提取统计、行为和动态特征），语义描述模块（利用LLM将原始数据转换为高级语义特征），以及双通道多层次特征融合网络（使用加权注意力机制融合数值和语义特征）。在Waymo开放轨迹数据集上的评估表明，LLM-MLFFN优于现有机器学习模型，分类精度超过94%。消融研究进一步验证了多层次融合、特征提取策略和LLM语义推理的关键贡献。结果表明，将结构化特征建模与语言驱动的语义抽象相结合，为鲁棒的自动驾驶行为分类提供了一条可解释的途径。

🔬 方法详解

问题定义：论文旨在解决自动驾驶车辆行为分类问题。现有方法主要依赖于数值时间序列建模，缺乏对驾驶行为的深层语义理解，导致在复杂交通场景下的鲁棒性和可解释性较差。这些方法难以捕捉驾驶员意图和环境上下文之间的关系，限制了分类的准确性。

核心思路：论文的核心思路是将大语言模型（LLM）引入到自动驾驶行为分类中，利用LLM强大的语义理解能力，将原始驾驶数据转化为高层次的语义特征。同时，结合传统的数值特征，通过多层次特征融合网络，实现数值特征和语义特征的互补，从而提高分类的准确性和鲁棒性。

技术框架：LLM-MLFFN框架包含三个主要模块：1) 多层次特征提取模块：提取统计特征、行为特征和动态特征，捕捉驾驶行为的量化信息。2) 语义描述模块：利用LLM将原始数据转化为高层次的语义特征，例如驾驶意图、环境描述等。3) 双通道多层次特征融合网络：将数值特征和语义特征进行融合，利用加权注意力机制，自适应地调整不同特征的权重，提高分类精度。

关键创新：该论文的关键创新在于将大语言模型引入到自动驾驶行为分类中，利用LLM的语义理解能力，弥补了传统数值建模方法的不足。通过多层次特征融合网络，实现了数值特征和语义特征的有效融合，提高了分类的准确性和鲁棒性。与现有方法相比，LLM-MLFFN能够更好地理解驾驶行为的深层语义，从而做出更准确的分类。

关键设计：在多层次特征融合网络中，使用了加权注意力机制，根据不同特征的重要性，自适应地调整其权重。具体来说，注意力权重是通过一个小型神经网络学习得到的，该网络以数值特征和语义特征作为输入，输出每个特征的权重。损失函数采用交叉熵损失函数，用于衡量分类结果与真实标签之间的差异。网络结构方面，采用了双通道设计，分别处理数值特征和语义特征，最后将两个通道的输出进行融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LLM-MLFFN在Waymo开放轨迹数据集上取得了显著的性能提升，分类精度超过94%，优于现有的机器学习模型。消融研究表明，多层次特征融合、特征提取策略以及LLM的语义推理都对最终性能有重要贡献。实验结果验证了将结构化特征建模与语言驱动的语义抽象相结合的有效性。

🎯 应用场景

该研究成果可应用于自动驾驶车辆的安全验证、性能诊断和交通集成分析。通过准确分类驾驶行为，可以评估自动驾驶系统的安全性，诊断潜在的性能问题，并优化交通流。此外，该方法还可以用于驾驶员行为分析，为高级驾驶辅助系统（ADAS）的设计提供参考。

📄 摘要（原文）

Accurate classification of autonomous vehicle (AV) driving behaviors is critical for safety validation, performance diagnosis, and traffic integration analysis. However, existing approaches primarily rely on numerical time-series modeling and often lack semantic abstraction, limiting interpretability and robustness in complex traffic environments. This paper presents LLM-MLFFN, a novel large language model (LLM)-enhanced multi-level feature fusion network designed to address the complexities of multi-dimensional driving data. The proposed LLM-MLFFN framework integrates priors from largescale pre-trained models and employs a multi-level approach to enhance classification accuracy. LLM-MLFFN comprises three core components: (1) a multi-level feature extraction module that extracts statistical, behavioral, and dynamic features to capture the quantitative aspects of driving behaviors; (2) a semantic description module that leverages LLMs to transform raw data into high-level semantic features; and (3) a dual-channel multi-level feature fusion network that combines numerical and semantic features using weighted attention mechanisms to improve robustness and prediction accuracy. Evaluation on the Waymo open trajectory dataset demonstrates the superior performance of the proposed LLM-MLFFN, achieving a classification accuracy of over 94%, surpassing existing machine learning models. Ablation studies further validate the critical contributions of multi-level fusion, feature extraction strategies, and LLM-derived semantic reasoning. These results suggest that integrating structured feature modeling with language-driven semantic abstraction provides a principled and interpretable pathway for robust autonomous driving behavior classification.