Autonomously Acquiring Robot Manipulation Skills with Language-Driven Quality-Diversity
作者: Émiland Garrabé, Mahdi Khoramshahi, Stéphane Doncieux
分类: cs.RO
发布日期: 2026-08-31
💡 一句话要点
提出一种基于语言驱动的质量多样性方法以提升机器人自主技能
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 质量多样性 机器人学习 自主探索 运动原语 大语言模型 适应性 智能制造
📋 核心要点
- 现有的质量多样性算法需要专家设计适应度和多样性指标，限制了机器人的自主性和适应能力。
- 本文提出了一种基于语言描述的自主探索机制，能够生成多样的运动原语档案，减少对专家干预的依赖。
- 实验结果表明，所提方法在四个机器人操作任务中生成的运动原语档案超越了传统QD算法的性能。
📝 摘要（中文）
质量多样性（QD）算法在机器人学习中逐渐受到关注，能够通过多样的运动原语库使机器人在部署时适应不同的约束。然而，现有方法通常需要专家设计成功条件、适应度和多样性指标，限制了机器人的自主性。另一方面，基于大语言模型（LLM）的奖励塑造技术虽然允许机器人自主学习，但仅能输出单一高性能解决方案，限制了适应性。本文提出了一种新方法，通过自主利用质量多样性算法生成多样的运动原语档案，仅需用自然语言描述任务。我们还提出了一种自主探索机制，能够可靠地输出覆盖适应度和行为描述空间的函数集。
🔬 方法详解
问题定义：本文旨在解决现有质量多样性算法对专家设计的依赖性，限制了机器人的自主学习能力。现有方法通常只能输出单一高性能解决方案，缺乏适应性。
核心思路：提出一种基于语言描述的自主探索机制，通过质量多样性算法生成多样的运动原语档案，减少对任务特定提示和专家干预的需求。
技术框架：整体架构包括三个主要模块：1) 任务描述的自然语言输入；2) 基于LLM的低维空间探索；3) 运动原语档案的生成与评估。
关键创新：最重要的创新在于将策略探索视为函数设计问题，利用低维函数空间进行探索，避免了传统方法的高维复杂性。
关键设计：采用多行为描述（BD）变体的MAP-Elites成功（MES）算法，设计了适应度和行为描述的覆盖函数集，确保生成的运动原语具有多样性和适应性。实验中使用的参数和损失函数经过精心设计，以优化生成效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在四个机器人操作任务中生成的运动原语档案在性能上超越了传统质量多样性算法，尤其是在适应性和多样性方面，提升幅度显著，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括自主机器人操作、智能制造和人机协作等。通过提升机器人在复杂环境中的自主学习能力，能够显著提高其在实际任务中的适应性和效率，推动智能机器人技术的进步。
📄 摘要（原文）
Quality-diversity (QD) algorithms have been gaining traction in robot learning, where diverse motion primitive libraries allow robots to adapt zero-shot to constraints at deployment time. However, such methods typically require expert designers to write the success condition, fitness and diversity metrics, and this strongly limits the robot's autonomy. On the other hand, existing LLM-based reward-shaping techniques allow robots to learn autonomously but only output single high-performing solutions, limiting the robot's adaptability. In this paper, we propose an approach designed to output diverse motion primitive archives by autonomously leveraging quality-diversity algorithms, only requiring a free-form description of the task in common language. To address the difficulty of designing relevant fitness and diversity metrics, we propose an autonomous exploration mechanism able to reliably output sets of functionals covering the fitness and behavior descriptor (BD) space. First, we pose policy exploration as a functional design problem, where the functional spaces are lower-dimensional than the full BD and fitness spaces, and propose an LLM-based exploration scheme to sample from these low-dimensional spaces without any task-specific prompts, fine-tuning or expert intervention. We adapt a multi-BD variant of the MAP-Elites success (MES) algorithm, designed to leverage the heterogeneous BD samples. Finally, through experiments based on the genesis simulator, we show that our method effectively generates archives of diverse motion primitives, outperforming classical QD algorithms with inferred and hand-written parametrizations on a set of $4$ robotic manipulation tasks.