Automated Feature Selection for Inverse Reinforcement Learning

📄 arXiv: 2403.15079v1 📥 PDF

作者: Daulet Baimukashev, Gokhan Alcan, Ville Kyrki

分类: cs.LG, cs.RO

发布日期: 2024-03-22

备注: 7 pages, 4 figures

💡 一句话要点

提出自动特征选择方法以解决逆强化学习中的特征选择问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 逆强化学习 特征选择 模仿学习 多项式基函数 轨迹概率 奖励函数

📋 核心要点

  1. 现有的逆强化学习方法在特征选择上存在不足，状态变量不足以提供丰富的特征信息。
  2. 本文提出通过多项式基函数生成候选特征，并利用轨迹概率与特征期望的相关性进行特征选择。
  3. 实验结果表明，该方法在复杂的非线性控制任务中有效恢复了专家策略的奖励函数。

📝 摘要（中文）

逆强化学习（IRL）是一种通过专家示范学习奖励函数的模仿学习方法。它避免了手动奖励指定的繁琐过程，同时保留了强化学习的泛化能力。在IRL中，奖励通常表示为特征的线性组合。在连续状态空间中，状态变量本身并不足够丰富，无法作为特征，但哪些特征是有效的通常并不明确。为了解决这一问题，本文提出了一种利用多项式基函数形成候选特征集的方法，这些特征能够匹配状态分布的统计矩。然后，通过利用轨迹概率与特征期望之间的相关性进行特征选择。我们通过恢复能够捕捉专家策略的奖励函数，展示了该方法在复杂非线性控制任务中的有效性。

🔬 方法详解

问题定义：本文旨在解决逆强化学习中有效特征选择的问题。现有方法通常依赖于状态变量，但这些变量在连续状态空间中往往不足以提供足够的信息，导致特征选择的困难。

核心思路：论文提出利用多项式基函数生成候选特征集，这些特征能够更好地匹配状态分布的统计特性。通过分析轨迹概率与特征期望之间的相关性，进行有效的特征选择。

技术框架：整体方法包括两个主要阶段：首先生成候选特征集，其次通过相关性分析进行特征选择。具体流程为：1) 通过多项式基函数生成特征；2) 计算轨迹概率与特征期望的相关性；3) 选择相关性高的特征用于奖励函数的恢复。

关键创新：最重要的创新在于利用多项式基函数生成特征集，并通过统计相关性进行特征选择。这一方法与传统依赖于状态变量的特征选择方法有本质区别，能够更有效地捕捉复杂的状态分布特征。

关键设计：在特征生成阶段，选择合适的多项式基函数形式；在特征选择阶段，设置相关性阈值以筛选出有效特征。损失函数设计上，确保能够有效地恢复专家策略的奖励函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在多个复杂非线性控制任务中成功恢复了专家策略的奖励函数，相较于基线方法，性能提升显著，具体提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等需要模仿学习的场景。通过自动特征选择，能够提高逆强化学习的效率和效果，减少人工干预，具有重要的实际价值和未来影响。

📄 摘要（原文）

Inverse reinforcement learning (IRL) is an imitation learning approach to learning reward functions from expert demonstrations. Its use avoids the difficult and tedious procedure of manual reward specification while retaining the generalization power of reinforcement learning. In IRL, the reward is usually represented as a linear combination of features. In continuous state spaces, the state variables alone are not sufficiently rich to be used as features, but which features are good is not known in general. To address this issue, we propose a method that employs polynomial basis functions to form a candidate set of features, which are shown to allow the matching of statistical moments of state distributions. Feature selection is then performed for the candidates by leveraging the correlation between trajectory probabilities and feature expectations. We demonstrate the approach's effectiveness by recovering reward functions that capture expert policies across non-linear control tasks of increasing complexity. Code, data, and videos are available at https://sites.google.com/view/feature4irl.