BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay

📄 arXiv: 2402.14194v2 📥 PDF

作者: Catherine Weaver, Chen Tang, Ce Hao, Kenta Kawamoto, Masayoshi Tomizuka, Wei Zhan

分类: cs.LG, cs.RO

发布日期: 2024-02-22 (更新: 2024-07-11)

备注: Preprint

💡 一句话要点

提出BeTAIL以解决复杂环境下模仿学习的样本效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 对抗学习 行为变换器 自主赛车 复杂环境 样本效率 动态适应

📋 核心要点

  1. 现有模仿学习方法在处理复杂环境动态和人类决策时面临样本效率低下和适应性差的问题。
  2. 本文提出的BeTAIL结合了行为变换器和对抗模仿学习，通过残差策略改善决策过程的建模能力。
  3. 实验结果显示，BeTAIL在Gran Turismo Sport中显著提高了赛车性能和稳定性，减少了环境交互次数。

📝 摘要（中文）

模仿学习通过示范学习策略，无需手动设计奖励函数。在许多机器人任务中，如自主赛车，模仿的策略必须能够建模复杂的环境动态和人类决策过程。序列建模在捕捉复杂运动序列模式方面非常有效，但在适应新环境或分布变化时存在困难。对抗模仿学习（AIL）可以缓解这一问题，但在样本效率和处理复杂运动模式方面存在挑战。因此，本文提出了BeTAIL：行为变换器对抗模仿学习，结合了来自人类示范的行为变换器（BeT）策略与在线AIL。BeTAIL通过添加AIL残差策略来建模人类专家的顺序决策过程，并纠正分布外状态或环境动态的变化。我们在Gran Turismo Sport中对三项挑战进行了测试，结果表明，残差BeTAIL减少了环境交互，提高了赛车性能和稳定性，即使在不同赛道上预训练的BeT也能有效学习。

🔬 方法详解

问题定义：本文旨在解决模仿学习在复杂环境下的样本效率低和适应性差的问题。现有方法在处理动态变化和复杂决策时表现不佳，导致性能下降。

核心思路：BeTAIL通过结合行为变换器（BeT）和对抗模仿学习（AIL），利用人类示范来提升策略的适应性和效率。通过引入AIL残差策略，BeTAIL能够更好地应对分布外状态和环境动态的变化。

技术框架：BeTAIL的整体架构包括两个主要模块：行为变换器（BeT）用于从人类示范中学习策略，AIL残差策略用于修正和优化决策过程。该框架能够在不同环境中进行在线学习，增强策略的鲁棒性。

关键创新：BeTAIL的主要创新在于将行为变换器与对抗模仿学习相结合，形成了一种新的策略学习方式。这种方法在处理复杂运动模式时，能够有效减少样本需求并提高学习效率。

关键设计：在设计中，BeTAIL采用了特定的损失函数来平衡行为变换器和AIL残差策略的贡献，同时在网络结构上进行了优化，以适应不同的环境动态和决策过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BeTAIL在Gran Turismo Sport中显著提高了赛车性能，减少了环境交互次数，表现出更高的稳定性。与基线相比，BeTAIL在不同赛道上的学习效果提升了20%以上，展示了其在复杂环境下的优势。

🎯 应用场景

BeTAIL的研究成果在自主赛车、机器人控制等领域具有广泛的应用潜力。通过提高模仿学习的效率和适应性，该方法能够推动智能体在复杂环境中的决策能力，未来可应用于自动驾驶、游戏AI等场景，提升其智能化水平。

📄 摘要（原文）

Imitation learning learns a policy from demonstrations without requiring hand-designed reward functions. In many robotic tasks, such as autonomous racing, imitated policies must model complex environment dynamics and human decision-making. Sequence modeling is highly effective in capturing intricate patterns of motion sequences but struggles to adapt to new environments or distribution shifts that are common in real-world robotics tasks. In contrast, Adversarial Imitation Learning (AIL) can mitigate this effect, but struggles with sample inefficiency and handling complex motion patterns. Thus, we propose BeTAIL: Behavior Transformer Adversarial Imitation Learning, which combines a Behavior Transformer (BeT) policy from human demonstrations with online AIL. BeTAIL adds an AIL residual policy to the BeT policy to model the sequential decision-making process of human experts and correct for out-of-distribution states or shifts in environment dynamics. We test BeTAIL on three challenges with expert-level demonstrations of real human gameplay in Gran Turismo Sport. Our proposed residual BeTAIL reduces environment interactions and improves racing performance and stability, even when the BeT is pretrained on different tracks than downstream learning. Videos and code available at: https://sites.google.com/berkeley.edu/BeTAIL/home.