LLM-Empowered Multimodal Fusion Framework for Autonomous Driving: Semantic Enhancement and Channel-Adaptive Design

📄 arXiv: 2607.01772 📥 PDF

作者: Wen Wang, Yaping Sun, Yejun He, Hao Chen, Zhiyong Chen, Xiaodong Xu, Nan Ma, Shuguang Cui

分类: cs.CV, eess.SP

发布日期: 2026-07-05

💡 一句话要点

提出LM-SCIP框架以解决动态输入质量对自动驾驶感知的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 自动驾驶 信道自适应 大型语言模型 雷达-视觉融合 语义推理 深度学习 智能交通

📋 核心要点

  1. 现有的视觉与雷达融合方法在动态环境中面临输入质量变化的挑战，导致感知盲区和定位不准确。
  2. 论文提出的LM-SCIP框架通过引入大型语言模型，结合层次化的雷达-视觉编码器和信道自适应模块，实现了动态信道感知的语义推理。
  3. 实验结果显示，LM-SCIP在不同信道条件下均表现出色，尤其在低信噪比情况下仍能保持稳健的视觉主导回退能力。

📝 摘要（中文）

视觉与雷达融合是实现稳健自动驾驶的关键，结合了密集的视觉语义和雷达的精确距离与速度测量。然而，现实中的融合质量受到遮挡、恶劣天气和信道噪声等动态变化输入质量的挑战。为此，本文将问题重新定义为信道感知的语义推理，提出了以大型语言模型为核心的语义层信道感知集成感知框架（LM-SCIP）。该框架通过层次化的雷达-视觉编码器与信道自适应语义模块（CASM）相结合，动态调节外部雷达特征。实验结果表明，LM-SCIP在nuScenes数据集上将定位均方根误差（RMSE）降低了40.0%，在VIRAT数据集上达到了0.214m的定位RMSE和0.179m的最小最终距离（minFDE）。

🔬 方法详解

问题定义：本文旨在解决在动态环境中，输入质量变化导致的视觉与雷达融合效果不佳的问题。现有方法在遮挡和恶劣天气下的表现不够稳定，影响了自动驾驶的安全性和可靠性。

核心思路：论文的核心思路是将传统的静态数据融合转变为信道感知的语义推理，利用大型语言模型（LLM）作为推理核心，动态调整视觉和雷达数据的融合方式，以应对输入质量的变化。

技术框架：LM-SCIP框架包括一个层次化的雷达-视觉编码器和一个信道自适应语义模块（CASM）。CASM将信道指示符映射为“信道提示”，以动态调节外部雷达特征的影响。LLM与异构专家混合模型（H-MoE）结合，负责在本地视觉线索和信道条件下的雷达上下文之间进行决策。最后，解耦的多任务解码器输出定位、轨迹预测和图像重建结果。

关键创新：最重要的创新点在于引入了信道自适应机制，使得模型能够根据输入质量动态调整融合策略。这一设计使得LM-SCIP在低信噪比条件下仍能保持较高的感知能力，与传统方法相比具有显著优势。

关键设计：在模型设计中，采用了参数高效的LoRA调优技术，确保LLM的高效性。同时，H-MoE的使用使得模型能够在不同任务之间灵活切换，提升了整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在nuScenes数据集上，LM-SCIP在控制雷达输入的情况下将定位均方根误差（RMSE）降低了40.0%，而在VIRAT数据集上，模型达到了0.214m的定位RMSE和0.179m的最小最终距离（minFDE），显示出其在不同信道条件下的优越性能。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过提高在复杂环境下的感知能力，LM-SCIP框架能够显著提升自动驾驶系统的安全性和可靠性，推动智能交通技术的发展。

📄 摘要（原文）

Vision-radar fusion is central to robust autonomous driving, combining dense visual semantics with precise range and velocity measurements from radar. However, real-world fusion quality is fundamentally challenged by dynamically varying input quality, stemming from occlusion, adverse weather, and channel noise. To address this, we re-frame the problem from static data fusion to channel-aware semantic reasoning and propose a Large Language Model-centric Semantic-layer Channel-aware Integrated Perception (LM-SCIP) framework. It places a Large Language Model (LLM) as a central reasoning core to fuse a local visual stream with a quality-varying external radar stream used to cover perception-blind spots. Concretely, LM-SCIP couples a hierarchical radar-vision encoder with a Channel-Adaptive Semantic Module (CASM) that maps link indicators into a "Channel Prompt" to dynamically gate external radar features. A parameter-efficient, LoRA-tuned LLM, in conjunction with a heterogeneous Mixture-of-Experts (H-MoE), then arbitrates between local visual cues and the channel-conditioned radar context. Finally, a decoupled multi-task decoder outputs localization, trajectory forecasting, and image reconstruction. Experiments on nuScenes and VIRAT validate our approach. On nuScenes, under a controlled toggle of radar input, LM-SCIP reduces localization RMSE by 40.0% versus a vision-only baseline. On VIRAT, the model attains a 0.214m localization RMSE and 0.179m minFDE (k=1). These results reveal that the proposed LM-SCIP enables a robust vision-dominant fallback at low SNR and synergistic fusion at high SNR.