A Closed-Loop Evaluation of Capability Loss and Recovery in Compressed Driving Policies
作者: Ahmad Alfan Alfian Irfan, Nur Ahmad Khatim, Mansur Arief
分类: cs.AI, cs.CV
发布日期: 2026-09-01
💡 一句话要点
提出闭环评估方法以解决压缩驾驶策略的能力损失问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 压缩驾驶策略 闭环评估 部分可观察马尔可夫决策过程 近端策略优化 结构化修剪 知识蒸馏 整数量化 自动驾驶
📋 核心要点
- 现有的压缩方法如修剪和量化，通常通过汇总数值评分评估，无法真实反映驾驶策略的安全性。
- 本研究提出了一种阶段性闭环评估方法，将驾驶任务视为部分可观察的马尔可夫决策过程，并使用PPO进行训练。
- 实验结果显示，结构化修剪是能力首次丧失的阶段，而蒸馏和量化对不同课程的影响各异，未修剪演员保留了所有课程能力。
📝 摘要（中文）
许多汽车和出行公司在内存和功耗有限的嵌入式计算机上部署学习的驾驶策略。虽然修剪、知识蒸馏和量化是常用的压缩方法，但这些方法通常通过汇总数值评分进行评估，可能无法反映策略在与其他道路使用者互动时的安全驾驶能力。本研究提出了一种阶段性闭环评估方法，通过压缩管道跟踪驾驶策略。我们将驾驶任务形式化为部分可观察的马尔可夫决策过程（POMDP），并在Gym-Duckietown中使用近端策略优化（PPO）训练信念状态策略。我们逐阶段提取和压缩演员，并在五个驾驶课程上进行评估。结果表明，结构化修剪是驾驶能力首次丧失的阶段，而蒸馏虽然改善了修剪后的演员，但提升受限于其重演数据。整数量化则导致改进后的演员在需要停车再起步的课程上丧失能力，而未修剪演员的相同过程则保留了所有五个课程。
🔬 方法详解
问题定义：本研究旨在解决在压缩驾驶策略过程中能力损失的问题。现有方法主要依赖汇总数值评分，无法有效评估策略在复杂环境中的安全性和可靠性。
核心思路：论文提出了一种阶段性闭环评估方法，通过将驾驶任务建模为部分可观察的马尔可夫决策过程（POMDP），并利用近端策略优化（PPO）训练信念状态策略，以便在压缩过程中逐步评估策略的能力。
技术框架：整体流程包括：首先在Gym-Duckietown环境中训练原始策略；然后逐阶段提取和压缩演员，采用结构化修剪、知识蒸馏和整数量化等方法，并在五个不同的驾驶课程上进行评估。
关键创新：本研究的主要创新在于提出了阶段性闭环评估方法，能够在压缩过程中实时评估驾驶策略的能力损失，填补了现有方法在安全性评估上的空白。
关键设计：在训练过程中，采用了近端策略优化（PPO）算法，损失函数设计上考虑了策略的稳定性与安全性，同时在蒸馏和量化阶段，重演数据的选择对最终性能有显著影响。通过结构化修剪，能够有效识别能力损失的阶段。
🖼️ 关键图片
📊 实验亮点
实验结果表明，结构化修剪是驾驶能力首次丧失的阶段，而蒸馏虽然对修剪后的演员有所改善，但提升幅度受限于重演数据。整数量化导致改进后的演员在需要停车再起步的课程上丧失能力，而未修剪演员的相同过程则成功保留了所有五个课程的能力，显示出不同压缩方法对策略性能的显著影响。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和机器人导航等。通过提供一种有效的评估方法，可以确保在资源受限的环境中部署的驾驶策略仍然具备安全性和可靠性，从而推动自动驾驶技术的实际应用和普及。未来，该方法还可能为其他领域的模型压缩和评估提供借鉴。
📄 摘要（原文）
Many automobile and mobility companies deploy learned driving policies on embedded computers with limited memory and power. Pruning, knowledge distillation, and quantization are the standard methods to reduce the size and the inference cost of these policies. However, these methods are commonly assessed by aggregate numerical scores, and such scores may not reflect the ability of the policy to drive safely when interacting with other road users. In this study, we propose a stage-wise closed-loop evaluation approach to follow a driving policy through a compression pipeline. We formulate the driving task as a partially observable Markov decision process (POMDP) and train a belief-state policy with proximal policy optimization (PPO) in Gym-Duckietown. We then extract the actor, compress it one stage at a time, and evaluate it on five driving curricula. We show that structured pruning is the stage at which the driving capability is first lost. Meanwhile, distillation improves the pruned actor, but the improvement is limited by its rehearsal data. Integer quantization of the improved actor loses some of the curricula that require the vehicle to stop and then resume. Interestingly, the same procedure on the unpruned actor preserves all five curricula. Our study thus provides an empirical analysis aiming to answer the currently active discussions on how to accept a compressed driving policy, so as to achieve a safe and statistically reliable deployment of automated driving functions.