FIRE-VLA: Failure-Informed Self-Evolution for Vision-Language-Action Models in Autonomous Driving

📄 arXiv: 2608.13395v1 📥 PDF

作者: Hao Dou

分类: cs.RO

发布日期: 2026-08-13

💡 一句话要点

提出FIRE-VLA框架以解决自主驾驶中的失败信息利用问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主驾驶 视觉-语言-行动 强化学习 自蒸馏 失败信息利用 群体相对策略优化 模型演化 决策优化

📋 核心要点

  1. 现有的强化学习方法在所有采样轨迹表现不佳时，无法有效利用失败信息，导致学习效率低下。
  2. FIRE-VLA框架通过将未解决的失败转化为特权监督，利用自蒸馏机制提升模型性能，增强学习过程的有效性。
  3. 在实验中，FIRE-VLA显著降低了平均L2误差和评估持久性失败率，展示了其在自主驾驶任务中的有效性。

📝 摘要（中文）

强化学习通过评估当前策略下采样的轨迹来提升自主驾驶的视觉-语言-行动（VLA）模型。现有的群体相对策略优化（GRPO）方法在所有采样轨迹表现不佳时，无法有效识别失败区域外的行为。为此，本文提出FIRE-VLA框架，将未解决的失败转化为下一策略的特权监督。低奖励、低多样性的轨迹组触发自蒸馏过程，教师模型观察隐藏的未来轨迹，而学生模型仅生成前缀并限制在回答令牌上。实验结果表明，FIRE-VLA在150个nuScenes场景的6019个示例中，平均L2误差从1.848米降低至1.500米，评估持久性失败率从13.03%降至11.20%。

🔬 方法详解

问题定义：本文旨在解决现有自主驾驶VLA模型在面对失败轨迹时的学习效率低下问题。现有方法在所有采样轨迹表现不佳时，无法有效识别和利用失败信息，导致学习过程受限。

核心思路：FIRE-VLA框架的核心思想是将未解决的失败转化为下一策略的特权监督。通过自蒸馏机制，教师模型观察未来轨迹，而学生模型则生成前缀并限制在回答令牌上，从而提升学习效果。

技术框架：FIRE-VLA的整体架构包括两个主要模块：教师模型和学生模型。教师模型基于冻结的模型副本，观察隐藏的未来轨迹；学生模型则在每个回合中生成前缀并进行策略更新。GRPO方法在每个组中仍然活跃，以优化策略。

关键创新：FIRE-VLA的主要创新在于将失败信息转化为特权监督，利用自蒸馏机制提升模型的学习能力。这一方法与传统的强化学习方法不同，后者往往无法有效利用失败信息。

关键设计：在设计上，教师和学生模型具有相同的参数规模，但只有教师模型观察未来轨迹。损失函数设计上，监督仅限于学生生成的前缀和回答令牌，确保学习过程的针对性和有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在150个nuScenes场景的6019个示例中，FIRE-VLA框架显著降低了平均L2误差，从1.848米降至1.500米，评估持久性失败率也从13.03%降至11.20%。这一结果表明，FIRE-VLA在处理稀有严重轨迹时的有效性，展示了其在提升模型性能方面的潜力。

🎯 应用场景

FIRE-VLA框架在自主驾驶领域具有广泛的应用潜力，能够有效提升VLA模型在复杂环境中的决策能力。其创新的自蒸馏机制和失败信息利用方法，可能对其他需要实时决策的智能系统，如机器人导航和智能交通管理等，产生积极影响。

📄 摘要（原文）

Reinforcement learning improves autonomous-driving vision-language-action (VLA) models by evaluating trajectories sampled from the current policy. Group relative policy optimization (GRPO) learns from reward differences within each rollout group. When all sampled trajectories are poor, this relative signal can rank failures without identifying behavior outside the failed region. We introduce FIRE-VLA, a failure-informed self-evolution framework that converts such unresolved failures into privileged supervision for the next policy. Low-reward, low-diversity groups trigger self-distillation from a frozen round-start copy of the same model. Teacher and student have the same parameter scale, but only the teacher observes the hidden future trajectory. Supervision follows the student's generated prefix and is restricted to answer tokens, while GRPO remains active for every group. The updated policy supplies the teacher for the next round, allowing the routed failure distribution to change with the policy without requiring a larger external teacher. Starting from the same Qwen2.5-VL-3B SFT checkpoint, the comparison matches student rollout and policy-update counts. On 6,019 examples from 150 held-out nuScenes scenes, FIRE-VLA retains comparable single-sample planning, reduces G=4 mean L2 from 1.848 to 1.500 m, and lowers evaluation-persistent failure prevalence from 13.03% to 11.20%. The reduction in mean error arises mainly from rare severe rollouts rather than uniform improvement across ordinary trajectories.