LLM-Empowered Multimodal Fusion Framework for Autonomous Driving: Semantic Enhancement and Channel-Adaptive Design

📄 arXiv: 2607.01772v1 📥 PDF

作者: Wen Wang, Yaping Sun, Yejun He, Hao Chen, Zhiyong Chen, Xiaodong Xu, Nan Ma, Shuguang Cui

分类: cs.CV, eess.SP

发布日期: 2026-07-02

备注: 6 pages, 4 figures. Accepted by 2026 IEEE 37th International Symposium on Personal, Indoor and Mobile Radio Communications (PIMRC)

💡 一句话要点

提出LM-SCIP框架以解决动态输入质量影响的多模态融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 自动驾驶 大语言模型 信道感知 雷达-视觉融合 深度学习 智能交通 机器人导航

📋 核心要点

  1. 现有的视觉与雷达融合方法在动态环境中面临输入质量变化的挑战，导致感知盲区的存在。
  2. 本文提出的LM-SCIP框架通过引入大语言模型，重构了信道感知的语义推理，增强了多模态融合的鲁棒性。
  3. 实验结果显示，LM-SCIP在nuScenes和VIRAT数据集上显著提升了定位精度，验证了其有效性。

📝 摘要（中文）

视觉与雷达融合是实现稳健自动驾驶的关键，然而，动态变化的输入质量（如遮挡、恶劣天气和信道噪声）对融合质量构成挑战。为此，本文提出了一种以大语言模型为核心的语义层信道感知集成感知框架（LM-SCIP），将局部视觉流与质量变化的外部雷达流进行融合。LM-SCIP结合了层次化的雷达-视觉编码器与信道自适应语义模块（CASM），动态调节外部雷达特征。通过参数高效的LoRA调优LLM和异构专家混合模型（H-MoE），在局部视觉线索与信道条件雷达上下文之间进行裁决。实验结果表明，LM-SCIP在nuScenes数据集上将定位均方根误差（RMSE）降低了40.0%。

🔬 方法详解

问题定义：本文旨在解决在动态环境中，视觉与雷达融合因输入质量变化而导致的感知盲区问题。现有方法在遮挡和恶劣天气下表现不佳，无法有效利用雷达信息。

核心思路：LM-SCIP框架通过将大语言模型作为核心推理模块，重新定义了信道感知的语义推理过程，旨在动态调整雷达特征的使用，以增强融合效果。

技术框架：LM-SCIP整体架构包括层次化的雷达-视觉编码器、信道自适应语义模块（CASM）和多任务解码器。CASM负责将信道指示映射为“信道提示”，以动态调节雷达特征的使用。

关键创新：最重要的创新在于将大语言模型与信道感知相结合，使得模型能够根据输入质量动态调整特征融合策略，这在现有方法中尚未实现。

关键设计：采用LoRA调优的参数高效LLM与异构专家混合模型（H-MoE），在局部视觉线索与信道条件雷达上下文之间进行有效裁决，确保多任务解码器能够输出高精度的定位、轨迹预测和图像重建结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在nuScenes数据集上，LM-SCIP在雷达输入控制下将定位均方根误差（RMSE）降低了40.0%，而在VIRAT数据集上实现了0.214m的定位RMSE和0.179m的最小最终距离（minFDE），显示出显著的性能提升。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在自动驾驶、智能交通系统和机器人导航等领域。通过提高多模态感知的鲁棒性，LM-SCIP能够在复杂环境中提供更可靠的决策支持，推动自动驾驶技术的进一步发展。

📄 摘要（原文）

Vision-radar fusion is central to robust autonomous driving, combining dense visual semantics with precise range and velocity measurements from radar. However, real-world fusion quality is fundamentally challenged by dynamically varying input quality, stemming from occlusion, adverse weather, and channel noise. To address this, we re-frame the problem from static data fusion to channel-aware semantic reasoning and propose a Large Language Model-centric Semantic-layer Channel-aware Integrated Perception (LM-SCIP) framework. It places a Large Language Model (LLM) as a central reasoning core to fuse a local visual stream with a quality-varying external radar stream used to cover perception-blind spots. Concretely, LM-SCIP couples a hierarchical radar-vision encoder with a Channel-Adaptive Semantic Module (CASM) that maps link indicators into a "Channel Prompt" to dynamically gate external radar features. A parameter-efficient, LoRA-tuned LLM, in conjunction with a heterogeneous Mixture-of-Experts (H-MoE), then arbitrates between local visual cues and the channel-conditioned radar context. Finally, a decoupled multi-task decoder outputs localization, trajectory forecasting, and image reconstruction. Experiments on nuScenes and VIRAT validate our approach. On nuScenes, under a controlled toggle of radar input, LM-SCIP reduces localization RMSE by 40.0% versus a vision-only baseline. On VIRAT, the model attains a 0.214m localization RMSE and 0.179m minFDE (k=1). These results reveal that the proposed LM-SCIP enables a robust vision-dominant fallback at low SNR and synergistic fusion at high SNR.