Distilling Reinforcement Learning Policies for Interpretable Robot Locomotion: Gradient Boosting Machines and Symbolic Regression

📄 arXiv: 2403.14328v1 📥 PDF

作者: Fernando Acero, Zhibin Li

分类: cs.RO, cs.AI, cs.LG

发布日期: 2024-03-21

💡 一句话要点

提出基于梯度提升机的可解释机器人运动策略蒸馏方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 机器人运动 可解释性 梯度提升机 符号回归 蒸馏训练 透明模型

📋 核心要点

  1. 现有的基于神经网络的强化学习策略缺乏可解释性，限制了其在安全性要求高的应用中的接受度。
  2. 本文提出通过梯度提升机、可解释提升机和符号回归将神经网络策略蒸馏为可解释的模型，提升透明度。
  3. 在205小时的模拟经验训练后，仅需10分钟的模拟交互即可为每种步态蒸馏出可解释策略，展示了方法的高效性。

📝 摘要（中文）

近年来，强化学习（RL）的进展使得机器人运动能力取得了显著成就。然而，基于神经网络的RL策略的复杂性和“黑箱”特性限制了其可解释性和广泛应用，尤其是在需要高安全性和可靠性的场景中。本文提出了一种新颖的方法，通过梯度提升机（GBM）、可解释提升机（EBM）和符号回归将神经RL策略蒸馏为更具可解释性的形式。利用广义加性模型、决策树和解析表达式的内在可解释性，我们将不透明的神经网络策略转化为更透明的“玻璃箱”模型。我们在多种机器人运动步态上评估了该方法，并研究了不同观察在联合动作中的重要性。

🔬 方法详解

问题定义：本文旨在解决基于神经网络的强化学习策略的可解释性不足问题，现有方法的“黑箱”特性使其难以在高安全性应用中被广泛接受。

核心思路：通过将神经网络策略蒸馏为梯度提升机、可解释提升机和符号回归模型，利用这些模型的可解释性来提高透明度，从而使得机器人运动策略更易于理解和应用。

技术框架：整体流程包括训练专家神经网络策略，然后使用Dataset Aggregation（DAgger）算法进行蒸馏，结合专家和蒸馏策略的动作交替，以应对行为克隆中的分布转移问题。

关键创新：最重要的创新在于将复杂的神经网络策略转化为更易解释的“玻璃箱”模型，显著提升了模型的可解释性和实用性，这是与现有方法的本质区别。

关键设计：在训练过程中，采用了针对不同步态的课程学习策略，并在蒸馏过程中使用了特定的损失函数和参数设置，以确保蒸馏过程的高效性和准确性。通过这种设计，能够在短时间内获得高质量的可解释策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用该方法蒸馏出的可解释策略在多种机器人运动步态上表现出色，经过205小时的模拟训练后，仅需10分钟的交互即可获得高效的可解释策略，展示了显著的时间效率和性能提升。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、智能交通系统和人机协作等场景，尤其是在需要高安全性和可靠性的环境中。通过提升机器人运动策略的可解释性，可以增强用户对机器人决策过程的信任，从而推动其在实际应用中的广泛采用。

📄 摘要（原文）

Recent advancements in reinforcement learning (RL) have led to remarkable achievements in robot locomotion capabilities. However, the complexity and black-box'' nature of neural network-based RL policies hinder their interpretability and broader acceptance, particularly in applications demanding high levels of safety and reliability. This paper introduces a novel approach to distill neural RL policies into more interpretable forms using Gradient Boosting Machines (GBMs), Explainable Boosting Machines (EBMs) and Symbolic Regression. By leveraging the inherent interpretability of generalized additive models, decision trees, and analytical expressions, we transform opaque neural network policies into more transparentglass-box'' models. We train expert neural network policies using RL and subsequently distill them into (i) GBMs, (ii) EBMs, and (iii) symbolic policies. To address the inherent distribution shift challenge of behavioral cloning, we propose to use the Dataset Aggregation (DAgger) algorithm with a curriculum of episode-dependent alternation of actions between expert and distilled policies, to enable efficient distillation of feedback control policies. We evaluate our approach on various robot locomotion gaits -- walking, trotting, bounding, and pacing -- and study the importance of different observations in joint actions for distilled policies using various methods. We train neural expert policies for 205 hours of simulated experience and distill interpretable policies with only 10 minutes of simulated interaction for each gait using the proposed method.