How Can LLM Guide RL? A Value-Based Approach

📄 arXiv: 2402.16181v1 📥 PDF

作者: Shenao Zhang, Sirui Zheng, Shuqi Ke, Zhihan Liu, Wanxin Jin, Jianbo Yuan, Yingxiang Yang, Hongxia Yang, Zhaoran Wang

分类: cs.LG, cs.AI

发布日期: 2024-02-25

🔗 代码/项目: GITHUB

💡 一句话要点

提出LINVIT算法以提高强化学习的样本效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 样本效率 大型语言模型 策略优化 价值函数 子目标 算法设计

📋 核心要点

  1. 现有强化学习方法在收集反馈时通常需要大量的试错交互，导致样本效率低下。
  2. 本文提出LINVIT算法，通过将LLM的策略先验作为正则化因子，提升RL的样本效率。
  3. 实验结果显示，LINVIT在多个环境中实现了最先进的成功率，并显著提高了样本效率。

📝 摘要（中文）

强化学习（RL）已成为顺序决策问题的标准方法，但其算法通常需要大量的试错交互以收集有用反馈。与此同时，尽管大型语言模型（LLM）在语言理解和生成方面表现出色，但在探索和自我改进能力上仍显不足。本文研究了LLM提供的策略先验如何增强RL算法的样本效率，提出了LINVIT算法，将LLM指导作为价值基础RL中的正则化因子，从而显著减少学习所需的数据量。此外，提出的SLINVIT算法简化了价值函数的构建，并利用子目标降低搜索复杂度。实验结果表明，该方法在多个交互环境中达到了最先进的成功率，并在样本效率上超越了之前的RL和LLM方法。

🔬 方法详解

问题定义：本文旨在解决强化学习算法在样本效率上的不足，尤其是在收集反馈时需要大量的试错交互。现有方法在探索和自我改进能力上存在局限，导致学习过程缓慢。

核心思路：论文的核心思路是利用大型语言模型（LLM）提供的策略先验，通过将其作为正则化因子融入价值基础的强化学习中，从而提高样本效率。这样的设计可以在初始策略接近最优时，减少进一步探索的需求。

技术框架：整体架构包括两个主要模块：LINVIT算法和SLINVIT算法。LINVIT通过LLM指导优化价值函数，而SLINVIT则简化了价值函数的构建，并引入子目标以降低搜索复杂度。

关键创新：最重要的技术创新在于将LLM的策略先验有效整合到RL中，显著提升了样本效率，并在初始策略接近最优时减少了探索需求。这与传统RL方法的探索机制形成了鲜明对比。

关键设计：在LINVIT中，正则化因子的设置和损失函数的设计是关键，确保LLM的指导能够有效影响价值函数的更新。此外，SLINVIT算法通过引入子目标，优化了搜索过程，降低了计算复杂度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LINVIT在ALFWorld、InterCode和BlocksWorld等三个交互环境中达到了最先进的成功率，样本效率显著提升，超越了之前的强化学习和LLM方法。具体而言，样本需求减少了显著比例，尤其是在初始策略接近最优的情况下。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等需要高效决策的场景。通过提高强化学习的样本效率，能够在实际应用中减少训练时间和资源消耗，从而提升系统的实用性和经济性。未来，该方法可能推动更多基于LLM的智能决策系统的发展。

📄 摘要（原文）

Reinforcement learning (RL) has become the de facto standard practice for sequential decision-making problems by improving future acting policies with feedback. However, RL algorithms may require extensive trial-and-error interactions to collect useful feedback for improvement. On the other hand, recent developments in large language models (LLMs) have showcased impressive capabilities in language understanding and generation, yet they fall short in exploration and self-improvement capabilities for planning tasks, lacking the ability to autonomously refine their responses based on feedback. Therefore, in this paper, we study how the policy prior provided by the LLM can enhance the sample efficiency of RL algorithms. Specifically, we develop an algorithm named LINVIT that incorporates LLM guidance as a regularization factor in value-based RL, leading to significant reductions in the amount of data needed for learning, particularly when the difference between the ideal policy and the LLM-informed policy is small, which suggests that the initial policy is close to optimal, reducing the need for further exploration. Additionally, we present a practical algorithm SLINVIT that simplifies the construction of the value function and employs subgoals to reduce the search complexity. Our experiments across three interactive environments ALFWorld, InterCode, and BlocksWorld demonstrate that our method achieves state-of-the-art success rates and also surpasses previous RL and LLM approaches in terms of sample efficiency. Our code is available at https://github.com/agentification/Language-Integrated-VI.