Domain Randomization via Entropy Maximization

📄 arXiv: 2311.01885v2 📥 PDF

作者: Gabriele Tiboni, Pascal Klink, Jan Peters, Tatiana Tommasi, Carlo D'Eramo, Georgia Chalvatzaki

分类: cs.LG, cs.RO

发布日期: 2023-11-03 (更新: 2024-03-26)

备注: Published as a conference paper at ICLR 2024. Project website at https://gabrieletiboni.github.io/doraemon/

💡 一句话要点

提出DORAEMON以解决仿真到现实转移问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 领域随机化 熵最大化 仿真到现实 强化学习 动态参数 机器人操作 策略优化

📋 核心要点

  1. 现有的领域随机化方法在动态参数的采样分布选择上存在挑战，过度随机化可能导致策略过于保守。
  2. 本文提出DORAEMON，通过最大化训练分布的熵，自动调整动态参数的分布，增强策略的适应性和泛化能力。
  3. 实验验证了DORAEMON在多样化动态参数下的有效性，显示出其在机器人操作任务中的零-shot转移能力。

📝 摘要（中文）

在强化学习中，动态参数的变化是克服现实差距的常用领域随机化（DR）方法。然而，DR的效果高度依赖于动态参数的采样分布，过度随机化可能导致保守策略。本文提出了一种新方法，通过最大化训练分布的熵，自动调整动态分布，进而实现仿真到现实的转移。我们引入了DORAEMON，一个约束优化问题，能够在不需要真实数据的情况下，逐步增加采样动态参数的多样性，确保当前策略的成功概率足够高。实验结果表明，DORAEMON在获得高度适应性和可泛化策略方面具有显著优势，并成功实现了在未知真实参数下的零-shot转移。

🔬 方法详解

问题定义：本文旨在解决仿真到现实转移中的动态参数选择问题。现有方法在随机化时容易导致策略过于保守，限制了学习效果。

核心思路：DORAEMON通过最大化训练分布的熵，自动调整动态参数的分布，确保在保持高成功概率的同时增加参数的多样性。

技术框架：DORAEMON的整体架构包括动态参数的采样、熵的计算和优化过程。训练过程中，系统会监控当前策略的成功概率，并据此调整参数的多样性。

关键创新：DORAEMON的主要创新在于其通过熵最大化的方式，动态调整参数分布，与传统的静态随机化方法形成鲜明对比。

关键设计：在实现过程中，DORAEMON设计了特定的损失函数以最大化熵，并设置了动态参数的采样策略，使得在训练过程中能够逐步增加参数的多样性。通过这些设计，DORAEMON能够有效提升策略的适应性与泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DORAEMON在多样化动态参数下的策略表现优于传统基线，成功实现了在未知真实参数下的零-shot转移，显示出其在适应性和泛化能力上的显著提升。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动驾驶和其他需要从仿真环境转移到真实环境的任务。DORAEMON的成功应用能够显著提高机器人在未知环境中的操作能力，推动智能系统的实际应用和发展。

📄 摘要（原文）

Varying dynamics parameters in simulation is a popular Domain Randomization (DR) approach for overcoming the reality gap in Reinforcement Learning (RL). Nevertheless, DR heavily hinges on the choice of the sampling distribution of the dynamics parameters, since high variability is crucial to regularize the agent's behavior but notoriously leads to overly conservative policies when randomizing excessively. In this paper, we propose a novel approach to address sim-to-real transfer, which automatically shapes dynamics distributions during training in simulation without requiring real-world data. We introduce DOmain RAndomization via Entropy MaximizatiON (DORAEMON), a constrained optimization problem that directly maximizes the entropy of the training distribution while retaining generalization capabilities. In achieving this, DORAEMON gradually increases the diversity of sampled dynamics parameters as long as the probability of success of the current policy is sufficiently high. We empirically validate the consistent benefits of DORAEMON in obtaining highly adaptive and generalizable policies, i.e. solving the task at hand across the widest range of dynamics parameters, as opposed to representative baselines from the DR literature. Notably, we also demonstrate the Sim2Real applicability of DORAEMON through its successful zero-shot transfer in a robotic manipulation setup under unknown real-world parameters.