RSKD: Grounding Semantic Consistency in Driving VLMs via Distillation

📄 arXiv: 2610.34689v1 📥 PDF

作者: Chuchu Xie, Yang Zhong, Kangan Qian, Hao Ye, Kun Jiang, Diange Yang

分类: cs.CV

发布日期: 2026-10-26

💡 一句话要点

提出RSKD以解决自动驾驶VLMs中的语义一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 自动驾驶 多模态模型 语义一致性 深度学习

📋 核心要点

  1. 现有的知识蒸馏方法在自动驾驶任务中存在令牌级匹配稀释语义的挑战，导致教师模型错误的放大。
  2. RSKD框架通过语义一致性引导蒸馏，强调任务关键短语的监督，提升了模型的语义理解能力。
  3. 在DrivingVQA和LingoQA数据集上，RSKD相较于基线模型有显著提升，并在MapLMv2上表现出竞争力。

📝 摘要（中文）

知识蒸馏可以将大型多模态模型转化为紧凑模型以用于自动驾驶，但统一的令牌级匹配可能会稀释与规划相关的语义并放大教师模型的错误。我们提出了RSKD，一个基于语义一致性的蒸馏框架，通过根据答案短语的任务重要性和与教师预测的语义一致性来引导监督。任务关键的语义短语在真实答案中被定位，短语级一致性评分控制Jensen-Shannon散度蒸馏与真实监督之间的平衡。教师信息仅在语义一致的地方被强调，而语义不一致的短语则接受更强的真实监督。我们在DrivingVQA、LingoQA和MapLMv2上评估了RSKD，结果表明RSKD在DrivingVQA和LingoQA上优于对比的学生基线，并在MapLMv2上保持竞争力。

🔬 方法详解

问题定义：本论文旨在解决自动驾驶多模态模型蒸馏过程中，令牌级匹配导致的语义稀释和教师模型错误放大的问题。现有方法未能有效处理任务相关的语义信息，影响了模型的性能。

核心思路：RSKD框架通过引入语义一致性评分来指导蒸馏过程，确保只有在语义一致的情况下才强调教师模型的信息，而在不一致的情况下则给予真实监督更大的权重。

技术框架：RSKD的整体架构包括两个主要模块：一是短语级一致性评分模块，用于评估答案短语与教师预测的语义一致性；二是蒸馏模块，根据一致性评分调整Jensen-Shannon散度和真实监督之间的平衡。

关键创新：RSKD的核心创新在于引入短语级一致性评分机制，区别于传统的令牌级匹配方法，使得蒸馏过程更具语义导向性，从而提高了模型的理解能力。

关键设计：在损失函数设计上，RSKD结合了Jensen-Shannon散度与真实监督的加权组合，短语级一致性评分则通过对比教师预测与真实答案的语义相似度来计算。

🖼️ 关键图片

fig_0

📊 实验亮点

RSKD在DrivingVQA和LingoQA数据集上表现出色，相比于对比基线模型，性能提升显著，具体提升幅度未知。在MapLMv2上，RSKD仍然保持竞争力，显示出其广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶系统、智能交通管理和机器人导航等。通过提升模型的语义理解能力，RSKD能够在复杂环境中更好地进行决策和规划，具有重要的实际价值和未来影响。

📄 摘要（原文）

Knowledge distillation can transfer large multimodal models to compact models for autonomous driving, but uniform token-level matching can dilute planning-relevant semantics and amplify teacher errors. We propose RSKD, a semantic-consistency-guided distillation framework that routes supervision according to both the task importance of an answer phrase and its semantic consistency with the teacher prediction. Task-critical semantic phrases are localized in the ground-truth answer, and a phrase-level consistency score controls the balance between Jensen--Shannon divergence (JSD) distillation and ground-truth supervision. Teacher information is emphasized only where it is semantically consistent, while semantically inconsistent phrases receive stronger ground-truth supervision. We evaluate RSKD on DrivingVQA, LingoQA, and MapLMv2. RSKD improves over the compared student-based baselines on DrivingVQA and LingoQA and remains competitive on MapLMv2.