Vision-Language Models Provide Promptable Representations for Reinforcement Learning

📄 arXiv: 2402.02651v3 📥 PDF

作者: William Chen, Oier Mees, Aviral Kumar, Sergey Levine

分类: cs.LG, cs.AI, cs.CV

发布日期: 2024-02-05 (更新: 2024-05-23)

💡 一句话要点

提出利用视觉语言模型提升强化学习表现的方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 强化学习 可提示表示 机器人导航 复杂任务 语义嵌入 背景知识

📋 核心要点

  1. 现有强化学习方法通常从零开始学习，缺乏利用背景知识的能力，导致学习效率低下。
  2. 本文提出利用视觉语言模型（VLMs）作为可提示的表示，初始化强化学习策略，从而加速学习过程。
  3. 实验结果显示，基于VLMs的策略在复杂任务中表现优于传统图像嵌入，且在新场景中显著提升了性能。

📝 摘要（中文）

人类能够快速学习新行为，依赖于背景世界知识，而强化学习（RL）代理通常从零开始学习行为。本文提出了一种新方法，利用在互联网规模数据上预训练的视觉语言模型（VLMs）中编码的大量通用世界知识，为具身强化学习提供初始化策略。通过将VLMs作为可提示的表示，本文展示了如何利用这些模型的内部知识和推理能力来编码视觉观察的语义特征。实验结果表明，基于通用VLMs的策略在Minecraft和Habitat中的复杂视觉长时间RL任务中表现优于传统方法，并且在新场景中通过链式思维提示提高了1.5倍的政策表现。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在学习新行为时缺乏背景知识利用的问题。现有方法通常从零开始，导致学习效率低下，尤其在复杂环境中表现不佳。

核心思路：论文的核心思路是利用视觉语言模型（VLMs）中编码的丰富世界知识，通过可提示的表示来初始化强化学习策略。这种方法能够有效地利用VLMs的推理能力和语义特征，从而加速学习过程。

技术框架：整体架构包括三个主要模块：首先是VLMs的预训练阶段，接着是通过提示生成语义嵌入，最后是将这些嵌入用于强化学习策略的初始化和训练。

关键创新：最重要的技术创新在于将VLMs作为可提示的表示，利用其内部知识和推理能力来生成视觉观察的语义特征。这一方法与传统的图像嵌入方法本质上不同，后者无法有效利用背景知识。

关键设计：在设计中，采用了特定的提示策略以引导VLMs生成相关的语义嵌入，并在损失函数中考虑了策略的表现与环境反馈的结合，以优化学习效果。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，基于通用视觉语言模型的策略在Minecraft和Habitat中的复杂视觉长时间任务中表现优于传统方法，且在新场景中通过链式思维提示提升了1.5倍的政策表现，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、游戏AI和其他需要复杂决策的具身智能系统。通过利用视觉语言模型的知识，能够显著提高这些系统在新环境中的适应能力和学习效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Humans can quickly learn new behaviors by leveraging background world knowledge. In contrast, agents trained with reinforcement learning (RL) typically learn behaviors from scratch. We thus propose a novel approach that uses the vast amounts of general and indexable world knowledge encoded in vision-language models (VLMs) pre-trained on Internet-scale data for embodied RL. We initialize policies with VLMs by using them as promptable representations: embeddings that encode semantic features of visual observations based on the VLM's internal knowledge and reasoning capabilities, as elicited through prompts that provide task context and auxiliary information. We evaluate our approach on visually-complex, long horizon RL tasks in Minecraft and robot navigation in Habitat. We find that our policies trained on embeddings from off-the-shelf, general-purpose VLMs outperform equivalent policies trained on generic, non-promptable image embeddings. We also find our approach outperforms instruction-following methods and performs comparably to domain-specific embeddings. Finally, we show that our approach can use chain-of-thought prompting to produce representations of common-sense semantic reasoning, improving policy performance in novel scenes by 1.5 times.