RT-VLA: Real-Time Vision-Language-Action Models via Knowledge Distillation

📄 arXiv: 2606.14010v1 📥 PDF

作者: Xiangyu Huang, Zhenlin Hua, Han Zhou, Shounak Sural, Ragunathan Rajkumar

分类: cs.CV, cs.LG, cs.RO

发布日期: 2026-06-12

💡 一句话要点

提出RT-VLA以解决实时视觉-语言-动作模型的延迟问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 蒸馏训练 实时推理 自动驾驶 多模态学习

📋 核心要点

  1. 现有的视觉-语言-动作模型由于大型骨干网络和推理模块，导致推理延迟严重，限制了实际应用。
  2. RT-VLA通过多层次的监督蒸馏技术，将SimLingo模型的能力转移到一个轻量级的学生模型中，解决了延迟问题。
  3. 实验结果表明，RT-VLA在保持竞争力的推理性能的同时，推理时间在视觉模式下减少了44.8倍，在视觉+语言模式下减少了7.9倍。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在端到端的自动驾驶中展现出强大的潜力，但其大型视觉-语言骨干和推理模块导致显著的推理延迟，限制了其在复杂路网中的应用。为此，本文提出了RT-VLA，一个轻量化的蒸馏VLA模型，通过多层次的监督蒸馏将最先进的SimLingo模型的驾驶和推理能力转移到一个紧凑的学生模型中。RT-VLA保留了基于语言的推理能力，并支持通过离线语言分析对安全关键驾驶时刻进行事后解释，而不会增加实时控制的延迟。与SimLingo教师模型相比，RT-VLA在视觉单一模式下推理时间减少了44.8倍，在视觉+语言模式下减少了7.9倍，显示出监督蒸馏是构建实时、可解释的VLA风格自动驾驶模型的有效方法。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在自动驾驶中的推理延迟问题，尤其是大型模型在复杂环境下的应用受限。

核心思路：通过多层次的监督蒸馏，将复杂的SimLingo模型的知识转移到一个轻量化的学生模型RT-VLA中，从而实现实时推理。

技术框架：RT-VLA的整体架构包括多个模块，首先进行知识蒸馏，然后通过语言分析实现推理和解释，最后将结果应用于实时控制。

关键创新：RT-VLA的主要创新在于通过监督蒸馏有效地压缩模型，同时保留了语言推理能力和安全关键时刻的解释能力，这与传统方法有本质区别。

关键设计：在设计中，RT-VLA采用了特定的损失函数来优化蒸馏过程，并在网络结构上进行了简化，以减少计算复杂度和推理时间。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RT-VLA在视觉单一模式下的推理时间减少了44.8倍，在视觉+语言模式下减少了7.9倍，且在闭环驾驶和语言推理性能上保持了与SimLingo教师模型的竞争力。这些结果表明，监督蒸馏是一种有效的实时模型构建方法。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过实现实时的视觉-语言-动作推理，RT-VLA能够在复杂的道路环境中提供更安全、更高效的自动驾驶解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-Language-Action (VLA) models have shown strong potential for end-to-end autonomous driving by jointly modeling visual perception, language reasoning, explainability and action prediction. However, their large vision-language backbones and reasoning modules introduce substantial inference latency and thereby prevent their deployment in the unforgiving reality of the road networks. We propose RT-VLA, a lightweight, distilled VLA model that transfers the driving and reasoning capabilities of the state-of-the-art SimLingo model into a compact student through multi-level supervised distillation. RT-VLA preserves language-based reasoning and supports post-hoc explanation through offline language analysis of safety-critical driving moments without adding latency to real-time control. Compared to the SimLingo teacher, RT-VLA maintains competitive closed-loop driving and language reasoning performance while reducing inference time by 44.8X in vision-only mode and 7.9X in vision+language mode. These results suggest that supervised distillation is a practical approach for building real-time, explainable VLA-style autonomous driving models.