Code as Reward: Empowering Reinforcement Learning with VLMs

📄 arXiv: 2402.04764v1 📥 PDF

作者: David Venuto, Sami Nur Islam, Martin Klissarov, Doina Precup, Sherry Yang, Ankit Anand

分类: cs.LG

发布日期: 2024-02-07

💡 一句话要点

提出VLM-CaR框架以解决强化学习中的奖励计算问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉语言模型 强化学习 奖励计算 代码生成 密集奖励

📋 核心要点

  1. 现有方法在强化学习中依赖稀疏奖励，导致训练效率低下，且VLM的推理计算开销大。
  2. 提出VLM-CaR框架，通过代码生成从VLM中产生密集奖励，降低了计算负担。
  3. 实验结果显示，VLM-CaR生成的密集奖励在多种环境中表现优异，提升了RL策略的训练效果。

📝 摘要（中文）

预训练的视觉语言模型（VLMs）能够理解视觉概念、描述复杂任务并提供反馈。本文旨在利用这些能力支持强化学习（RL）代理的训练。由于VLM推理计算开销大，频繁查询会显著减慢RL训练。为此，我们提出了名为Code as Reward（VLM-CaR）的框架，通过代码生成从VLM中产生密集奖励函数，从而显著降低直接查询VLM的计算负担。实验表明，我们的方法在多种离散和连续环境中生成的密集奖励非常准确，并且在训练RL策略时比原始稀疏环境奖励更有效。

🔬 方法详解

问题定义：本文解决了在强化学习中如何有效计算奖励的问题。现有方法依赖稀疏奖励，导致训练效率低下，同时VLM的推理计算开销大，频繁查询会显著减慢训练过程。

核心思路：论文提出的VLM-CaR框架通过代码生成技术，从VLM中提取密集奖励，避免了直接查询VLM的高计算成本，从而提高了训练效率。

技术框架：VLM-CaR框架主要包括三个模块：首先是VLM的输入处理模块，接着是代码生成模块，最后是奖励计算模块。整个流程是将环境状态输入VLM，生成代码，再从代码中提取密集奖励。

关键创新：VLM-CaR的核心创新在于通过代码生成实现密集奖励的计算，这与传统方法直接依赖稀疏奖励的方式有本质区别，显著提高了训练效率和效果。

关键设计：在设计中，关键参数包括VLM的选择、代码生成的策略以及奖励函数的定义。损失函数采用了与环境反馈一致的设计，以确保生成的奖励与实际任务目标相符。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VLM-CaR生成的密集奖励在多种离散和连续环境中表现出色，相较于传统稀疏奖励，训练效率提升显著，具体性能数据未提供，但效果明显优于基线方法。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏智能体等。通过提高强化学习的训练效率，VLM-CaR能够加速智能体的学习过程，提升其在复杂任务中的表现，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Pre-trained Vision-Language Models (VLMs) are able to understand visual concepts, describe and decompose complex tasks into sub-tasks, and provide feedback on task completion. In this paper, we aim to leverage these capabilities to support the training of reinforcement learning (RL) agents. In principle, VLMs are well suited for this purpose, as they can naturally analyze image-based observations and provide feedback (reward) on learning progress. However, inference in VLMs is computationally expensive, so querying them frequently to compute rewards would significantly slowdown the training of an RL agent. To address this challenge, we propose a framework named Code as Reward (VLM-CaR). VLM-CaR produces dense reward functions from VLMs through code generation, thereby significantly reducing the computational burden of querying the VLM directly. We show that the dense rewards generated through our approach are very accurate across a diverse set of discrete and continuous environments, and can be more effective in training RL policies than the original sparse environment rewards.