Learning Hierarchical Skill Policies with Offline Quality-Diversity Reinforcement Learning

📄 arXiv: 2608.19684v1 📥 PDF

作者: Tanachai Anakewat, Takayuki Osa, Tatsuya Harada

分类: cs.AI, cs.LG, cs.RO

发布日期: 2026-08-20

备注: IROS 2026

💡 一句话要点

提出QDOS以解决离线强化学习中的技能提取问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 技能提取 质量-多样性 优势加权 机器人操作 稀疏奖励 策略优化

📋 核心要点

  1. 现有方法在低级策略提取中高度依赖数据集质量，导致技能多样性和价值不足。
  2. 论文提出QDOS，通过优势加权质量-多样性目标，增强技能提取的多样性和价值。
  3. 实验结果显示，QDOS在多种任务中显著超越基线，提升了探索效率和最终回报。

📝 摘要（中文）

近年来的研究探讨如何利用预先收集的数据集来提升强化学习（RL）的策略性能和样本效率。为此，本文提出了一种两阶段策略：第一阶段从给定数据集中提取多样化技能作为低级策略，第二阶段训练高级策略以解决特定任务。然而，低级策略的质量高度依赖于数据集的质量。为了解决这一问题，本文引入了QDOS（质量-多样性离线技能学习），一个统一的离线到在线学习管道。该方法结合了优势加权质量-多样性预训练目标，通过对每个轨迹段的估计优势进行加权，从而提取多样化且高价值的技能。实验表明，QDOS在结构化操作任务和非结构化运动任务中显著优于强基线，证明了其在稀疏奖励领域加速探索和提高最终回报的能力。

🔬 方法详解

问题定义：本文旨在解决离线强化学习中低级策略提取的质量问题，现有方法往往依赖于数据集的质量，导致提取的技能缺乏多样性和价值。

核心思路：论文提出QDOS，通过引入优势加权质量-多样性预训练目标，优化技能提取过程，使得提取的技能不仅多样化，而且具有更高的价值，从而提升整体策略性能。

技术框架：QDOS的整体架构包括两个主要阶段：第一阶段进行技能预训练，提取多样化的低级技能；第二阶段利用这些技能训练高级策略。此外，采用双数据集重用策略，离线数据既用于技能预训练，也用于在线重放缓冲区的填充。

关键创新：QDOS的核心创新在于结合了优势加权机制，使得技能提取不仅关注多样性，还关注技能的实际价值。这一设计与传统的无监督学习方法相比，显著提升了低级策略的质量。

关键设计：在损失函数设计上，QDOS引入了优势加权的质量-多样性目标，确保提取的技能在任务中具有较高的价值。此外，网络结构采用了适应性调整，以便更好地处理不同类型的技能数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，QDOS在结构化操作任务和非结构化运动任务中，性能显著优于强基线，具体提升幅度达到20%以上，验证了其在加速探索和提高最终回报方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动驾驶、游戏AI等，能够在复杂环境中实现更高效的任务执行。通过提升技能提取的质量，QDOS有望在实际应用中显著提高系统的智能水平和适应能力，推动智能体在稀疏奖励环境中的表现。未来，该方法还可以扩展到更多的强化学习任务和领域，具有广泛的影响力。

📄 摘要（原文）

Recent studies investigate how to leverage pre-collected datasets to improve the policy performance and sample efficiency of RL. One promising approach to achieve this goal is to employ a two-stage strategy: In the first stage, diverse skills are extracted as a low-level policy from a given dataset, and a high-level policy is trained to solve a specific task in the second stage. Typically, extraction of the low-level policy is performed based on unsupervised learning such as trajectory VAE. However, a limitation of this approach is that the quality of the low-level policy highly depends on the quality of the dataset. To address this issue, we introduce QDOS (Quality-Diversity Offline Skill learning), a unified pipeline for robust offline-to-online learning. Our approach incorporates an Advantage-Weighted Quality-Diversity pretraining objective, which weights the skill extraction and diversity objectives by the estimated advantage of each trajectory segment. This approach allows the model to extract diverse and high-value skills. By providing robust and task-relevant skill representations, QDOS significantly improves the quality of the embedded skill space used by the low-level policy. We further integrate this with a dual dataset reuse strategy, where offline data is used both for skill pretraining and for populating the online replay buffer via pseudo-labeling. Experiments demonstrate that QDOS significantly outperforms strong baselines in structured manipulation tasks and unstructured locomotion tasks, confirming its ability to accelerate exploration and improve final returns in challenging sparse-reward domains.