Vision-Language Models as a Source of Rewards

📄 arXiv: 2312.09187v3 📥 PDF

作者: Kate Baumli, Satinder Baveja, Feryal Behbahani, Harris Chan, Gheorghe Comanici, Sebastian Flennerhag, Maxime Gazeau, Kristian Holsheimer, Dan Horgan, Michael Laskin, Clare Lyle, Hussain Masoom, Kay McKinney, Volodymyr Mnih, Alexander Neitz, Dmitry Nikulin, Fabio Pardo, Jack Parker-Holder, John Quan, Tim Rocktäschel, Himanshu Sahni, Tom Schaul, Yannick Schroecker, Stephen Spencer, Richie Steigerwald, Luyu Wang, Lei Zhang

分类: cs.LG

发布日期: 2023-12-14 (更新: 2024-07-12)

备注: 10 pages, 5 figures

💡 一句话要点

利用视觉-语言模型作为强化学习的奖励来源，提升通用智能体能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 强化学习 奖励函数 通用智能体 CLIP模型

📋 核心要点

  1. 通用智能体需要大量奖励函数，而人工设计奖励函数成本高昂且难以泛化。
  2. 利用预训练的视觉-语言模型（VLM）作为奖励函数，无需人工干预即可评估视觉目标达成情况。
  3. 实验表明，更大的VLM能提供更准确的奖励信号，从而训练出更强大的强化学习智能体。

📝 摘要（中文）

构建能够在丰富的开放环境中完成多项目标的通用智能体是强化学习的研究前沿之一。使用强化学习构建通用智能体的关键限制因素是需要大量用于实现不同目标的奖励函数。本文研究了使用现成的视觉-语言模型（VLMs）作为强化学习智能体奖励来源的可行性。我们展示了如何从CLIP模型系列中获得视觉上实现各种语言目标的奖励，并使用这些奖励来训练能够实现各种语言目标的强化学习智能体。我们在两个不同的视觉领域展示了这种方法，并提出了一个扩展趋势，表明更大的VLM可以为视觉目标实现提供更准确的奖励，从而产生更强大的强化学习智能体。

🔬 方法详解

问题定义：传统的强化学习方法在训练通用智能体时，需要为每个任务或目标设计独立的奖励函数。这不仅耗时耗力，而且难以泛化到新的、未知的任务环境中。现有的奖励函数设计往往是针对特定任务的，缺乏通用性和灵活性。

核心思路：本文的核心思路是利用预训练的视觉-语言模型（VLM）来自动生成奖励信号。VLM能够理解图像和文本之间的关系，因此可以用来评估智能体在视觉上是否实现了给定的语言目标。通过将VLM的输出作为奖励，智能体可以在没有人工干预的情况下学习完成各种语言描述的任务。

技术框架：该方法主要包含以下几个步骤：1) 定义语言目标：智能体需要完成的任务用自然语言描述。2) 使用VLM计算奖励：对于智能体的每个状态，VLM计算当前视觉状态与语言目标之间的相似度，作为奖励信号。具体来说，将图像输入VLM的图像编码器，将语言目标输入VLM的文本编码器，然后计算两个编码向量的余弦相似度。3) 使用强化学习算法训练智能体：智能体根据VLM提供的奖励信号，使用标准的强化学习算法（如PPO）进行训练，学习如何实现语言目标。

关键创新：该方法最重要的创新点在于将预训练的VLM作为强化学习的奖励来源，从而避免了人工设计奖励函数的需要。这使得智能体能够自动学习完成各种语言描述的任务，提高了智能体的通用性和泛化能力。此外，论文还发现，更大的VLM能够提供更准确的奖励信号，从而训练出更强大的智能体。

关键设计：论文使用了CLIP模型作为VLM，CLIP模型通过对比学习的方式，在大量的图像-文本对上进行预训练，能够很好地理解图像和文本之间的关系。奖励函数的设计直接使用了CLIP模型输出的余弦相似度，没有进行额外的调整。强化学习算法使用了PPO，并对超参数进行了优化，以获得更好的训练效果。

📊 实验亮点

实验结果表明，使用VLM作为奖励来源的强化学习智能体能够成功完成各种语言描述的任务。此外，论文还发现，更大的VLM能够提供更准确的奖励信号，从而训练出更强大的智能体。例如，使用更大的CLIP模型可以显著提高智能体完成复杂任务的成功率。实验还对比了不同VLM的效果，验证了该方法的有效性。

🎯 应用场景

该研究成果可应用于机器人控制、游戏AI、自动驾驶等领域。例如，可以训练机器人根据自然语言指令完成各种任务，如“把红色的杯子放到桌子上”。在游戏AI中，可以训练AI根据玩家的语言指令进行交互，提高游戏的趣味性和互动性。在自动驾驶领域，可以训练自动驾驶系统理解乘客的语言指令，实现更加智能化的驾驶体验。

📄 摘要（原文）

Building generalist agents that can accomplish many goals in rich open-ended environments is one of the research frontiers for reinforcement learning. A key limiting factor for building generalist agents with RL has been the need for a large number of reward functions for achieving different goals. We investigate the feasibility of using off-the-shelf vision-language models, or VLMs, as sources of rewards for reinforcement learning agents. We show how rewards for visual achievement of a variety of language goals can be derived from the CLIP family of models, and used to train RL agents that can achieve a variety of language goals. We showcase this approach in two distinct visual domains and present a scaling trend showing how larger VLMs lead to more accurate rewards for visual goal achievement, which in turn produces more capable RL agents.