GPT-4V(ision) for Robotics: Multimodal Task Planning from Human Demonstration
作者: Naoki Wake, Atsushi Kanehira, Kazuhiro Sasabuchi, Jun Takamatsu, Katsushi Ikeuchi
分类: cs.RO, cs.CL, cs.CV
发布日期: 2023-11-20 (更新: 2024-09-26)
备注: 8 pages, 10 figures, 3 tables. Published in IEEE Robotics and Automation Letters (RA-L) (in press). Last updated on September 26th, 2024
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出GPT-4V(ision)以解决机器人单次视觉教学问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 机器人操作 单次视觉教学 任务规划 可供性信息 时空定位 人类演示
📋 核心要点
- 现有方法在机器人操作中缺乏有效的单次视觉教学能力，难以从人类演示中提取可执行的任务信息。
- 论文提出了一种基于GPT-4V的管道，通过分析人类视频演示生成符号任务计划，并进行时空定位以提取可供性信息。
- 实验结果显示，该方法在多种场景中有效提升了机器人从单次人类演示中执行任务的能力，同时揭示了GPT-4V的幻觉现象。
📝 摘要（中文）
本文介绍了一种增强通用视觉语言模型GPT-4V(ision)的管道，以促进机器人操作的单次视觉教学。该系统分析人类执行任务的视频，并输出可执行的机器人程序，融入对环境和动作细节的理解。首先，GPT-4V分析视频以获取文本解释，随后基于GPT-4的任务规划器将这些细节编码为符号任务计划。接着，视觉系统在视频中进行时空定位，识别对象并分析手-物体交互，以确定抓取和释放的时刻。这种时空定位有助于收集对机器人执行至关重要的可供性信息。实验表明该方法在多种场景下有效，使真实机器人能够从单次人类演示中操作，同时定量测试揭示了GPT-4V中的幻觉现象，强调了人类监督的重要性。
🔬 方法详解
问题定义：本文旨在解决机器人在执行任务时缺乏单次视觉教学的能力，现有方法往往无法有效提取人类演示中的关键信息，导致机器人无法准确执行任务。
核心思路：论文的核心思路是利用GPT-4V分析人类执行任务的视频，提取环境和动作的文本描述，并将其转化为符号任务计划，以便机器人能够理解和执行。
技术框架：整体架构包括视频分析、任务规划和时空定位三个主要模块。首先，GPT-4V分析视频并生成文本描述；其次，基于这些描述生成符号任务计划；最后，通过视觉系统进行时空定位，识别对象和手-物体交互。
关键创新：最重要的技术创新在于结合了视觉语言模型与机器人任务规划，能够从人类演示中提取可供性信息，并将其有效地转化为机器人可执行的指令。这一方法与传统的单一视觉或语言处理方法有本质区别。
关键设计：在设计中，使用了开放词汇的对象检测器来识别视频中的对象，并分析手-物体交互的时刻。此外，任务规划器的设计考虑了符号表示的有效性，以确保机器人能够理解和执行复杂的任务。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在多种场景下有效，机器人能够从单次人类演示中成功执行任务，提升幅度显著。同时，定量测试揭示了GPT-4V在某些情况下存在幻觉现象，强调了人类监督在系统中的重要性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和家庭助理等场景。通过实现从人类演示中学习，机器人能够更灵活地适应多变的环境，提高工作效率和用户体验。未来，该技术可能推动机器人在更复杂任务中的应用，进一步缩短人机协作的学习曲线。
📄 摘要（原文）
We introduce a pipeline that enhances a general-purpose Vision Language Model, GPT-4V(ision), to facilitate one-shot visual teaching for robotic manipulation. This system analyzes videos of humans performing tasks and outputs executable robot programs that incorporate insights into affordances. The process begins with GPT-4V analyzing the videos to obtain textual explanations of environmental and action details. A GPT-4-based task planner then encodes these details into a symbolic task plan. Subsequently, vision systems spatially and temporally ground the task plan in the videos. Objects are identified using an open-vocabulary object detector, and hand-object interactions are analyzed to pinpoint moments of grasping and releasing. This spatiotemporal grounding allows for the gathering of affordance information (e.g., grasp types, waypoints, and body postures) critical for robot execution. Experiments across various scenarios demonstrate the method's efficacy in enabling real robots to operate from one-shot human demonstrations. Meanwhile, quantitative tests have revealed instances of hallucination in GPT-4V, highlighting the importance of incorporating human supervision within the pipeline. The prompts of GPT-4V/GPT-4 are available at this project page: https://microsoft.github.io/GPT4Vision-Robot-Manipulation-Prompts/