Policy Improvement using Language Feedback Models

📄 arXiv: 2402.07876v6 📥 PDF

作者: Victor Zhong, Dipendra Misra, Xingdi Yuan, Marc-Alexandre Côté

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-02-12 (更新: 2024-10-10)

备注: NeurIPS 2024

💡 一句话要点

提出语言反馈模型以提升模仿学习任务完成率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模仿学习 语言反馈模型 任务完成率 大型语言模型 人类可解释性

📋 核心要点

  1. 现有的模仿学习方法在识别和模仿理想行为方面存在不足，导致任务完成率不高。
  2. 本文提出的语言反馈模型（LFM）通过从大型语言模型获取反馈，识别理想行为以提升模仿学习效果。
  3. 实验结果显示，LFM在多个环境中显著提高了任务完成率，且在未见环境中也表现出良好的泛化能力。

📝 摘要（中文）

本文介绍了语言反馈模型（LFM），旨在识别有助于完成指令任务的理想行为，以用于模仿学习。LFM通过从大型语言模型（LLM）获取反馈，基于语言描述对视觉轨迹进行评估。研究表明，使用LFM识别的理想行为在三个不同的语言基础环境中（Touchdown、ScienceWorld和ALFWorld）显著提高了任务完成率，超越了强大的行为克隆基线。此外，LFM在控制LLM输出令牌数量的情况下，优于直接预测动作的LLM。LFM还能够适应未见环境，提升任务完成率3.5%-12.0%。最后，LFM可调整为提供人类可解释的反馈，确保模仿学习中的理想行为可被人类验证而不损失性能。

🔬 方法详解

问题定义：本文旨在解决模仿学习中理想行为识别不足的问题，现有方法往往依赖于直接的行为克隆，导致任务完成率低下。

核心思路：通过引入语言反馈模型（LFM），利用大型语言模型（LLM）对视觉轨迹进行语言描述反馈，从而识别出理想的行为进行模仿学习。

技术框架：整体架构包括三个主要模块：首先，使用LLM对视觉轨迹进行语言描述；其次，LFM根据这些描述识别理想行为；最后，利用识别的行为进行模仿学习。

关键创新：LFM的核心创新在于通过语言反馈来指导模仿学习，而不是直接依赖于LLM的动作预测，这种方法在任务完成率上表现出显著提升。

关键设计：在模型设计中，LFM的参数设置和损失函数经过精心调整，以确保在提供人类可解释反馈的同时不损失性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LFM在Touchdown、ScienceWorld和ALFWorld等环境中，任务完成率较强行为克隆基线提升显著，且在未见环境中提升幅度达到3.5%-12.0%。这些结果展示了LFM在模仿学习中的有效性和广泛适应性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能助手等，能够提升这些系统在复杂任务中的表现。通过提供可解释的反馈，LFM还可以增强人机协作的有效性，促进更安全的自动化应用。

📄 摘要（原文）

We introduce Language Feedback Models (LFMs) that identify desirable behaviour - actions that help achieve tasks specified in the instruction - for imitation learning in instruction following. To train LFMs, we obtain feedback from Large Language Models (LLMs) on visual trajectories verbalized to language descriptions. First, by using LFMs to identify desirable behaviour to imitate, we improve in task-completion rate over strong behavioural cloning baselines on three distinct language grounding environments (Touchdown, ScienceWorld, and ALFWorld). Second, LFMs outperform using LLMs as experts to directly predict actions, when controlling for the number of LLM output tokens. Third, LFMs generalize to unseen environments, improving task-completion rate by 3.5-12.0% through one round of adaptation. Finally, LFM can be modified to provide human-interpretable feedback without performance loss, allowing human verification of desirable behaviour for imitation learning.