Skill Set Optimization: Reinforcing Language Model Behavior via Transferable Skills

📄 arXiv: 2402.03244v2 📥 PDF

作者: Kolby Nottingham, Bodhisattwa Prasad Majumder, Bhavana Dalvi Mishra, Sameer Singh, Peter Clark, Roy Fox

分类: cs.LG, cs.CL

发布日期: 2024-02-05 (更新: 2024-06-22)

备注: Proceedings of the 41st International Conference on Machine Learning, Vienna, Austria. PMLR 235, 2024

💡 一句话要点

提出技能集优化方法以增强语言模型在决策中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 技能集优化 语言模型 决策系统 环境反馈 强化学习

📋 核心要点

  1. 现有方法在利用环境奖励信号进行LLM持续改进时面临挑战，难以有效提升模型表现。
  2. 论文提出的技能集优化（SSO）方法，通过构建和精炼可转移技能集，旨在强化LLM的高奖励行为。
  3. 实验结果表明，SSO在NetHack任务中提升了40%的表现，在ScienceWorld中超越了最先进技术35%。

📝 摘要（中文）

大型语言模型（LLMs）最近被用于交互环境中的顺序决策。然而，利用环境奖励信号来持续改进LLM行为并不简单。本文提出了技能集优化（SSO）方法，通过构建和精炼可转移技能集来提升LLM表现。SSO通过提取高奖励的共同子轨迹来构建技能，并生成子目标和指令来表示每个技能。这些技能在上下文中提供给LLM，以强化高奖励行为。随后，SSO通过修剪未能持续产生高奖励的技能进一步优化技能集。我们在经典视频游戏NetHack和文本环境ScienceWorld中评估了该方法，结果表明SSO在优化技能集和进行上下文策略改进方面表现优异。在自定义的NetHack任务中，SSO的表现比基线提高了40%，在ScienceWorld中超越了之前的最先进技术35%。

🔬 方法详解

问题定义：本文旨在解决如何有效利用环境奖励信号来持续改进大型语言模型（LLMs）在交互环境中的决策表现。现有方法在这一过程中存在困难，难以提取和利用有价值的技能信息。

核心思路：技能集优化（SSO）方法的核心思想是通过提取高奖励的共同子轨迹来构建技能，并生成相应的子目标和指令，以在上下文中强化LLM的高奖励行为。通过不断修剪技能集，保留表现优异的技能，从而实现持续改进。

技术框架：SSO的整体架构包括技能构建、技能提供和技能精炼三个主要模块。首先，通过分析环境中的高奖励轨迹来构建技能；然后将这些技能提供给LLM以强化其行为；最后，通过评估技能的表现来修剪不再有效的技能。

关键创新：SSO的主要创新在于其通过提取和利用可转移技能来优化LLM的决策过程，与传统方法相比，能够更有效地利用环境反馈进行学习和改进。

关键设计：在技能构建过程中，SSO使用了特定的奖励阈值来筛选高奖励轨迹，并设计了相应的损失函数以优化技能的表现。此外，技能的生成和修剪过程采用了动态评估机制，以确保技能集的持续有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SSO在自定义的NetHack任务中提升了40%的表现，相较于基线方法显著提高。在ScienceWorld环境中，SSO的表现超越了之前的最先进技术35%，证明了其在技能优化和策略改进方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括游戏AI、智能助手和自动化决策系统等。通过优化语言模型的决策能力，SSO可以提升这些系统在复杂环境中的表现，具有重要的实际价值和广泛的应用前景。未来，SSO方法还可能扩展到其他类型的模型和任务中，推动智能系统的进一步发展。

📄 摘要（原文）

Large language models (LLMs) have recently been used for sequential decision making in interactive environments. However, leveraging environment reward signals for continual LLM actor improvement is not straightforward. We propose Skill Set Optimization (SSO) for improving LLM actor performance through constructing and refining sets of transferable skills. SSO constructs skills by extracting common subtrajectories with high rewards and generating subgoals and instructions to represent each skill. These skills are provided to the LLM actor in-context to reinforce behaviors with high rewards. Then, SSO further refines the skill set by pruning skills that do not continue to result in high rewards. We evaluate our method in the classic videogame NetHack and the text environment ScienceWorld to demonstrate SSO's ability to optimize a set of skills and perform in-context policy improvement. SSO outperforms baselines by 40% in our custom NetHack task and outperforms the previous state-of-the-art in ScienceWorld by 35%.