Distilling and Retrieving Generalizable Knowledge for Robot Manipulation via Language Corrections

📄 arXiv: 2311.10678v2 📥 PDF

作者: Lihan Zha, Yuchen Cui, Li-Heng Lin, Minae Kwon, Montserrat Gonzalez Arenas, Andy Zeng, Fei Xia, Dorsa Sadigh

分类: cs.RO, cs.AI, cs.LG

发布日期: 2023-11-17 (更新: 2024-03-21)

备注: 8 pages, 4 figures, videos and code links on website https://sites.google.com/stanford.edu/droc

💡 一句话要点

提出DROC以解决机器人在新环境中的泛化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 语言反馈 知识蒸馏 经验检索 泛化能力 人机协作

📋 核心要点

  1. 现有机器人策略在新环境中的泛化能力不足，难以有效利用人类反馈进行学习和适应。
  2. 本文提出DROC系统，通过大型语言模型响应多种语言反馈，提炼和检索可泛化知识以提升机器人性能。
  3. 实验结果显示，DROC在首次迭代中仅需一半的纠正次数，且在后续迭代中几乎不需要额外纠正，显著提升了性能。

📝 摘要（中文）

当前的机器人策略在面对新环境时表现不佳，而人类的纠正反馈是实现泛化的重要指导。然而，适应并从在线人类纠正中学习并非易事。本文提出的在线纠正蒸馏与检索系统（DROC）基于大型语言模型，能够响应各种语言反馈，从纠正中提炼可泛化知识，并根据文本和视觉相似性检索相关经验，以提高在新环境中的表现。DROC能够处理高层任务计划和低层技能原语的在线语言纠正，实验结果表明DROC在新任务或对象实例的设置中有效提取相关信息，并在首次迭代中仅需一半的纠正次数，且在两轮后几乎不需要纠正。

🔬 方法详解

问题定义：本文旨在解决机器人在新环境中泛化能力不足的问题。现有方法在处理人类反馈时存在记忆和响应能力不足的痛点，导致机器人难以有效适应新任务。

核心思路：DROC系统的核心思路是利用大型语言模型对在线人类纠正进行响应，提炼出可泛化的知识，并通过检索相关经验来提升机器人在新环境中的表现。这样的设计使得机器人能够灵活应对多样化的反馈。

技术框架：DROC的整体架构包括三个主要模块：语言反馈处理模块、知识蒸馏模块和经验检索模块。首先，系统接收并解析人类的语言反馈；然后，从反馈中提炼出可泛化的知识；最后，根据文本和视觉相似性检索相关的历史经验。

关键创新：DROC的主要创新在于其能够处理高层次和低层次的反馈，并有效地将这些反馈转化为可用于学习的知识。这与现有方法直接生成机器人代码的方式有本质区别，后者往往忽视了反馈的多样性和复杂性。

关键设计：在设计中，DROC采用了特定的损失函数来优化知识蒸馏过程，并使用了改进的检索算法以提高经验检索的效率。此外，系统的网络结构经过精心设计，以确保能够处理复杂的语言输入和多模态数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DROC在首次迭代中仅需一半的纠正次数，相较于其他直接生成机器人代码的方法，性能提升显著。在经过两轮迭代后，DROC几乎不再需要额外的纠正，显示出其在新任务和对象实例中的优越性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过提升机器人对人类反馈的适应能力，DROC能够在多种复杂环境中实现更高效的操作，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Today's robot policies exhibit subpar performance when faced with the challenge of generalizing to novel environments. Human corrective feedback is a crucial form of guidance to enable such generalization. However, adapting to and learning from online human corrections is a non-trivial endeavor: not only do robots need to remember human feedback over time to retrieve the right information in new settings and reduce the intervention rate, but also they would need to be able to respond to feedback that can be arbitrary corrections about high-level human preferences to low-level adjustments to skill parameters. In this work, we present Distillation and Retrieval of Online Corrections (DROC), a large language model (LLM)-based system that can respond to arbitrary forms of language feedback, distill generalizable knowledge from corrections, and retrieve relevant past experiences based on textual and visual similarity for improving performance in novel settings. DROC is able to respond to a sequence of online language corrections that address failures in both high-level task plans and low-level skill primitives. We demonstrate that DROC effectively distills the relevant information from the sequence of online corrections in a knowledge base and retrieves that knowledge in settings with new task or object instances. DROC outperforms other techniques that directly generate robot code via LLMs by using only half of the total number of corrections needed in the first round and requires little to no corrections after two iterations. We show further results, videos, prompts and code on https://sites.google.com/stanford.edu/droc .