Large Language Models as In-context AI Generators for Quality-Diversity

📄 arXiv: 2404.15794v2 📥 PDF

作者: Bryan Lim, Manon Flageat, Antoine Cully

分类: cs.NE, cs.AI, cs.LG

发布日期: 2024-04-24 (更新: 2024-06-05)

💡 一句话要点

提出In-context QD框架以提升质量多样性搜索效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 质量多样性 大型语言模型 生成模型 开放式问题 创新解决方案 多样性搜索 技术进步

📋 核心要点

  1. 现有的质量多样性(QD)方法通常仅依赖于一到两个解决方案的组合，限制了创新解决方案的生成。
  2. 本文提出In-context QD框架，利用大型语言模型的模式匹配能力，通过多样的示例生成新的候选解决方案。
  3. 实验结果显示，In-context QD在多个领域的表现优于传统QD方法，且在不同参数设置下均保持良好性能。

📝 摘要（中文）

质量多样性(QD)方法是一种有前景的开放式过程开发方向，能够在不同领域发现高质量解决方案的档案。现有的QD方法通常仅依赖于一到两个解决方案的组合来生成新的候选解决方案。本文提出了In-context QD框架，利用预训练的大型语言模型(LLMs)的模式匹配能力，通过少量和大量提示，结合来自QD档案的质量多样性示例，生成有趣的解决方案。实验结果表明，In-context QD在多个QD领域的表现优于QD基线和单目标优化的类似策略，且在不同参数规模和档案规模下均表现出色。

🔬 方法详解

问题定义：本文旨在解决现有质量多样性(QD)方法在生成新候选解决方案时的局限性，主要依赖于一到两个解决方案的组合，导致创新性不足。

核心思路：通过利用大型语言模型(LLMs)的模式匹配能力，结合质量多样性示例，提出In-context QD框架，以实现更高效的解决方案组合和生成。

技术框架：In-context QD框架包括多个模块：首先，通过少量或大量提示从QD档案中提取质量多样性示例；其次，利用LLMs生成新的候选解决方案；最后，评估生成方案的质量与多样性。

关键创新：最重要的技术创新在于将LLMs的能力引入QD搜索中，允许在生成过程中考虑更广泛的解决方案组合，从而提高创新性和效率。

关键设计：在提示设计上，采用了多样化的示例组合，确保生成的候选方案在质量和多样性上均衡，同时在参数设置上进行了广泛的实验，以验证框架的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，In-context QD在多个常见QD领域的表现显著优于传统QD基线，且在不同参数规模和档案规模下均保持一致的提升，展示了该方法的广泛适用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人技术、自动化设计、游戏开发等，能够在这些领域中生成创新的解决方案，推动技术进步。未来，In-context QD框架可能会在更广泛的开放式问题解决中发挥重要作用，促进多样性和质量的平衡。

📄 摘要（原文）

Quality-Diversity (QD) approaches are a promising direction to develop open-ended processes as they can discover archives of high-quality solutions across diverse niches. While already successful in many applications, QD approaches usually rely on combining only one or two solutions to generate new candidate solutions. As observed in open-ended processes such as technological evolution, wisely combining large diversity of these solutions could lead to more innovative solutions and potentially boost the productivity of QD search. In this work, we propose to exploit the pattern-matching capabilities of generative models to enable such efficient solution combinations. We introduce In-context QD, a framework of techniques that aim to elicit the in-context capabilities of pre-trained Large Language Models (LLMs) to generate interesting solutions using few-shot and many-shot prompting with quality-diverse examples from the QD archive as context. Applied to a series of common QD domains, In-context QD displays promising results compared to both QD baselines and similar strategies developed for single-objective optimization. Additionally, this result holds across multiple values of parameter sizes and archive population sizes, as well as across domains with distinct characteristics from BBO functions to policy search. Finally, we perform an extensive ablation that highlights the key prompt design considerations that encourage the generation of promising solutions for QD.