KlaskTron-IL: A Contact-Rich Adversarial Imitation Learning Benchmark with a Validated Sim-to-Real Bridge

📄 arXiv: 2611.03091v1 📥 PDF

作者: Nicklas Sohm, Aswin Ramachandran, Raffaello D'Andrea

分类: cs.RO

发布日期: 2026-11-02

💡 一句话要点

提出KlaskTron-IL以解决接触丰富环境下模仿学习的挑战

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 对抗强化学习 机器人控制 数据集 零-shot转移 动态环境 策略学习

📋 核心要点

  1. 现有模仿学习方法在接触丰富的对抗环境中面临数据扩展瓶颈和梯度弱化等挑战。
  2. 提出KlaskTron-IL数据集，结合真实机器人与模拟环境，实现零-shot策略转移，增强模仿学习的有效性。
  3. 实验结果表明，基于KlaskTron-IL的策略在物理机器人上能够无缝运行，验证了其在真实环境中的有效性。

📝 摘要（中文）

KlaskTron是一个开放硬件的物理平台，专为双人对抗强化学习设计，具备支持零-shot模拟到真实转移的学习执行器模型。基于此平台，本文贡献了KlaskTron-IL：一个多层次的模仿学习数据集，包含80k个直接在物理机器人上收集的人类演示时间步、320k个对称增强时间步，以及通过零-shot验证的PPO策略生成的最多5M步的合成专家轨迹。此外，本文还提供了诊断基线，揭示了标准模仿学习方法在接触丰富的对抗动态下的三种特征失效模式。

🔬 方法详解

问题定义：本文旨在解决现有模仿学习方法在接触丰富的对抗动态下的失效问题，尤其是数据扩展和梯度弱化的挑战。

核心思路：通过构建KlaskTron-IL数据集，结合真实与模拟环境，提供一个多层次的模仿学习基准，支持零-shot策略转移。这样设计的目的是为了提高模仿学习在复杂环境中的适应性和有效性。

技术框架：整体架构包括数据收集模块、策略训练模块和策略验证模块。数据收集模块负责从物理机器人和模拟环境中获取演示数据，策略训练模块使用这些数据进行策略学习，验证模块则确保训练的策略能够在真实环境中有效运行。

关键创新：最重要的技术创新点在于提出了一个多层次的模仿学习数据集，结合了真实和合成数据，解决了传统模仿学习方法在复杂动态下的局限性。

关键设计：在参数设置上，采用了适应性调整的学习率和损失函数，网络结构则基于深度强化学习的标准架构，确保了策略的有效学习与转移。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于KlaskTron-IL的策略在物理机器人上实现了零-shot转移，验证了其有效性。特别是，最强的BC基线在物理环境中表现出色，确保了策略的无缝运行，提升了模仿学习的实际应用能力。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和人机协作等。通过实现高效的模仿学习，KlaskTron-IL可以在复杂和动态的环境中提升机器人的自主决策能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

KlaskTron is an open-hardware physical platform for two-player adversarial reinforcement learning, with a learned actuator model that supports zero-shot sim-to-real transfer of trained policies. Building on this platform, we contribute KlaskTron-IL: a multi-tier imitation learning dataset (80k human demonstration timesteps collected directly on the physical robot, 320k symmetry-augmented timesteps, and synthetic expert trajectories up to 5M steps generated by the zero-shot-validated PPO policy), and diagnostic baselines that expose three characteristic failure modes of standard IL methods under contact-rich adversarial dynamics: BC's data scaling plateau, GAIL's interpretable but weak-gradient discriminator (Spearman $ρ= -1.0$ peg-ball proximity recovery, but a logit span under 0.1), and an asymmetric BC-prior x reward-density interaction. Because the policy interface used throughout this paper is the same one the actuator model bridges to hardware, a policy trained on this benchmark can run unchanged on the physical robot, as we demonstrate zero-shot for the strongest BC baseline, so long as its commands respect the actuator model's $\pm 0.2$ m/s identification range.