Learning to Learn Faster from Human Feedback with Language Model Predictive Control
作者: Jacky Liang, Fei Xia, Wenhao Yu, Andy Zeng, Montserrat Gonzalez Arenas, Maria Attarian, Maria Bauza, Matthew Bennice, Alex Bewley, Adil Dostmohamed, Chuyuan Kelly Fu, Nimrod Gileadi, Marissa Giustina, Keerthana Gopalakrishnan, Leonard Hasenclever, Jan Humplik, Jasmine Hsu, Nikhil Joshi, Ben Jyenis, Chase Kew, Sean Kirmani, Tsang-Wei Edward Lee, Kuang-Huei Lee, Assaf Hurwitz Michaely, Joss Moore, Ken Oslund, Dushyant Rao, Allen Ren, Baruch Tabanpour, Quan Vuong, Ayzaan Wahid, Ted Xiao, Ying Xu, Vincent Zhuang, Peng Xu, Erik Frey, Ken Caluwaerts, Tingnan Zhang, Brian Ichter, Jonathan Tompson, Leila Takayama, Vincent Vanhoucke, Izhak Shafran, Maja Mataric, Dorsa Sadigh, Nicolas Heess, Kanishka Rao, Nik Stewart, Jie Tan, Carolina Parada
分类: cs.RO
发布日期: 2024-02-18 (更新: 2024-05-31)
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出语言模型预测控制以提升机器人代码生成的学习效率
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 机器人学习 人机交互 模型预测控制 深度学习 适应性学习 反馈机制
📋 核心要点
- 现有方法在长时间的人机交互中，用户反馈容易被遗忘，导致学习效率低下。
- 本文提出了语言模型预测控制（LMPC），通过微调LLMs来增强其记忆和适应能力。
- 实验结果显示，LMPC在78个任务上提高了非专家教学成功率26.9%，并减少了平均纠正次数。
📝 摘要（中文）
大型语言模型（LLMs）已展现出广泛的能力，例如根据语言指令编写机器人代码，使非专家能够指导机器人行为。然而，这些能力受限于短期交互，用户反馈在长时间交互中可能被遗忘。本文研究了如何微调机器人代码生成的LLMs，以增强其记忆能力和适应性。我们将人机交互视为部分可观测的马尔可夫决策过程，并提出了语言模型预测控制（LMPC）框架，结合经典的机器人技术如模型预测控制（MPC），在78个任务中提高了非专家的教学成功率26.9%，并将平均纠正次数从2.4减少到1.9。此外，LMPC还显著提升了在未见机器人和API上的新任务学习成功率31.5%。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在长时间人机交互中对用户反馈的记忆不足，导致学习效率低下的问题。现有方法在短期内表现良好，但无法有效处理长期交互中的信息遗忘。
核心思路：论文的核心思路是将人机交互视为部分可观测的马尔可夫决策过程，通过训练LLM完成先前的交互，来构建一个转移动态模型，从而提高其适应性和记忆能力。
技术框架：整体架构包括三个主要模块：1）人机交互数据收集；2）LLM微调以增强记忆；3）结合模型预测控制（MPC）进行路径优化。该框架通过不断迭代优化，使得机器人能够更快速地适应用户的反馈。
关键创新：最重要的技术创新点在于提出了语言模型预测控制（LMPC），将LLM的微调与经典的MPC技术相结合，显著提升了机器人在新任务上的学习效率。这一方法与现有的基于短期反馈的学习方法本质上不同。
关键设计：在设计中，关键参数包括LLM的微调策略、损失函数的选择，以及MPC中的状态转移模型。通过优化这些设计，LMPC能够有效地减少用户的纠正次数，提高任务成功率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LMPC在78个任务上提高了非专家的教学成功率26.9%，并将平均纠正次数从2.4减少到1.9。此外，LMPC在未见机器人和API上的新任务学习成功率提升了31.5%，展示了其强大的适应性和学习能力。
🎯 应用场景
该研究的潜在应用领域包括机器人教育、自动化控制和人机协作等。通过提升机器人对人类反馈的学习能力，非专家用户能够更轻松地与机器人进行交互，推动智能机器人在实际场景中的应用和普及，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language models (LLMs) have been shown to exhibit a wide range of capabilities, such as writing robot code from language commands -- enabling non-experts to direct robot behaviors, modify them based on feedback, or compose them to perform new tasks. However, these capabilities (driven by in-context learning) are limited to short-term interactions, where users' feedback remains relevant for only as long as it fits within the context size of the LLM, and can be forgotten over longer interactions. In this work, we investigate fine-tuning the robot code-writing LLMs, to remember their in-context interactions and improve their teachability i.e., how efficiently they adapt to human inputs (measured by average number of corrections before the user considers the task successful). Our key observation is that when human-robot interactions are viewed as a partially observable Markov decision process (in which human language inputs are observations, and robot code outputs are actions), then training an LLM to complete previous interactions is training a transition dynamics model -- that can be combined with classic robotics techniques such as model predictive control (MPC) to discover shorter paths to success. This gives rise to Language Model Predictive Control (LMPC), a framework that fine-tunes PaLM 2 to improve its teachability on 78 tasks across 5 robot embodiments -- improving non-expert teaching success rates of unseen tasks by 26.9% while reducing the average number of human corrections from 2.4 to 1.9. Experiments show that LMPC also produces strong meta-learners, improving the success rate of in-context learning new tasks on unseen robot embodiments and APIs by 31.5%. See videos, code, and demos at: https://robot-teaching.github.io/.