Align Your Intents: Offline Imitation Learning via Optimal Transport

📄 arXiv: 2402.13037v2 📥 PDF

作者: Maksim Bobrin, Nazar Buzun, Dmitrii Krylov, Dmitry V. Dylov

分类: cs.LG, cs.AI

发布日期: 2024-02-20 (更新: 2024-10-04)

💡 一句话要点

提出AILOT方法以解决离线模仿学习中的奖励缺失问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 模仿学习 最优传输 意图表示 内在奖励 策略优化 机器人控制

📋 核心要点

  1. 现有的离线强化学习方法在缺乏明确奖励和动作标签的情况下，难以有效学习专家行为。
  2. 本文提出AILOT方法，通过意图表示和最优传输距离定义内在奖励，克服了奖励缺失的问题。
  3. AILOT在D4RL基准测试中表现优于当前最先进的离线模仿学习算法，并提升了其他离线RL算法的性能。

📝 摘要（中文）

离线强化学习（RL）通过学习预先收集的数据来解决序列决策问题，而不与环境交互。然而，由于很少明确知道奖励，且难以追溯提炼，离线RL的实用性受到限制。本文展示了一种模仿代理可以仅通过观察专家行为学习所需行为的方法，即AILOT（通过最优传输的对齐模仿学习）。该方法通过意图的特殊状态表示，结合数据中的成对空间距离，定义了内在奖励函数。实验结果表明，AILOT在D4RL基准测试中超越了现有的离线模仿学习算法，并通过稀疏奖励任务中的密集奖励重标定提升了其他离线RL算法的性能。

🔬 方法详解

问题定义：本文解决的是离线模仿学习中缺乏明确奖励和动作标签的问题。现有方法在这种情况下难以有效学习专家的行为，导致学习效果不佳。

核心思路：论文提出的AILOT方法通过引入意图的特殊状态表示，结合成对空间距离，定义内在奖励函数，从而使模仿代理能够在没有显式奖励的情况下学习。

技术框架：AILOT的整体架构包括状态表示模块、内在奖励计算模块和策略学习模块。状态表示模块负责生成意图表示，内在奖励计算模块通过最优传输距离计算奖励，策略学习模块则基于奖励进行策略优化。

关键创新：AILOT的核心创新在于通过意图表示和最优传输距离定义内在奖励，这与传统的依赖显式奖励的学习方法有本质区别，使得在缺乏奖励信息的情况下仍能有效学习。

关键设计：在关键设计上，AILOT使用了特定的损失函数来优化策略，并在网络结构上采用了适应性调整的策略网络，以更好地适应不同的任务需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AILOT在D4RL基准测试中表现优于现有的离线模仿学习算法，具体而言，其性能提升幅度达到XX%（具体数据未知），并且通过密集奖励重标定显著改善了其他离线RL算法在稀疏奖励任务中的表现。

🎯 应用场景

AILOT方法在机器人控制、自动驾驶、游戏AI等领域具有广泛的应用潜力。通过在缺乏明确奖励的情况下有效学习专家行为，该方法能够提升智能体在复杂环境中的决策能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Offline Reinforcement Learning (RL) addresses the problem of sequential decision-making by learning optimal policy through pre-collected data, without interacting with the environment. As yet, it has remained somewhat impractical, because one rarely knows the reward explicitly and it is hard to distill it retrospectively. Here, we show that an imitating agent can still learn the desired behavior merely from observing the expert, despite the absence of explicit rewards or action labels. In our method, AILOT (Aligned Imitation Learning via Optimal Transport), we involve special representation of states in a form of intents that incorporate pairwise spatial distances within the data. Given such representations, we define intrinsic reward function via optimal transport distance between the expert's and the agent's trajectories. We report that AILOT outperforms state-of-the art offline imitation learning algorithms on D4RL benchmarks and improves the performance of other offline RL algorithms by dense reward relabelling in the sparse-reward tasks.