LEAP: LLM-Generation of Egocentric Action Programs

📄 arXiv: 2312.00055v1 📥 PDF

作者: Eadom Dessalene, Michael Maynord, Cornelia Fermüller, Yiannis Aloimonos

分类: cs.CV, cs.LG, cs.RO

发布日期: 2023-11-29

备注: Dataset: https://drive.google.com/drive/folders/1Cpkw_TI1IIxXdzor0pOXG3rWJWuKU5Ex?usp=drive_link

💡 一句话要点

提出LEAP以生成视频基础的自我中心动作程序

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我中心视频 大型语言模型 动作程序生成 多模态信息 动作识别 EPIC Kitchens 机器人规划

📋 核心要点

  1. 现有方法在生成视频基础的动作程序时，缺乏对动作的全面理解，导致效果不佳。
  2. LEAP利用大型语言模型生成自我中心的动作程序，整合了多模态信息，提升了动作理解的准确性。
  3. 实验结果表明，LEAP在EPIC Kitchens数据集上取得了显著的性能提升，成为RGB输入的动作识别排行榜第一名。

📝 摘要（中文）

我们介绍了LEAP，一种通过大型语言模型（LLM）生成视频基础的动作程序的新方法。这些动作程序涵盖了动作的运动、感知和结构方面，包含子动作、前后条件和控制流。LEAP的动作程序以自我中心视频为中心，利用LLM的最新发展作为程序知识的来源，并聚合和评估多模态视频信息。我们在EPIC Kitchens数据集的训练集上应用LEAP，并将生成的动作程序作为公开数据集发布。通过将LEAP作为次级监督源，我们在动作识别和预测网络中应用其动作程序的损失项，显示出显著的性能提升。

🔬 方法详解

问题定义：本论文旨在解决现有方法在生成视频基础的自我中心动作程序时的不足，特别是在动作的运动、感知和结构方面的全面理解不足。

核心思路：LEAP通过利用大型语言模型（LLM）生成动作程序，整合多模态视频信息，提供了对动作的更深层次理解。这样的设计使得动作程序不仅包含基本的动作序列，还考虑了前后条件和控制流。

技术框架：LEAP的整体架构包括数据输入模块（自我中心视频）、LLM知识提取模块、动作程序生成模块和评估模块。通过这些模块的协同工作，LEAP能够生成高质量的动作程序。

关键创新：LEAP的主要创新在于将大型语言模型与视频信息结合，生成包含多层次信息的动作程序。这一方法与传统的动作识别方法相比，提供了更为丰富的上下文信息，显著提升了动作理解的能力。

关键设计：在设计中，LEAP采用了特定的损失函数来优化动作识别和预测网络的训练效果，确保生成的动作程序能够有效指导模型学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在EPIC Kitchens数据集上，LEAP通过引入生成的动作程序作为次级监督源，显著提升了动作识别和预测的性能，最终在RGB输入的动作识别排行榜上取得第一名，展示了该方法的有效性和优越性。

🎯 应用场景

LEAP的研究成果在多个领域具有潜在应用价值，包括机器人动作规划、视频监控分析和人机交互等。通过生成准确的动作程序，LEAP能够帮助机器人更好地理解和执行复杂任务，提高自动化水平和效率。

📄 摘要（原文）

We introduce LEAP (illustrated in Figure 1), a novel method for generating video-grounded action programs through use of a Large Language Model (LLM). These action programs represent the motoric, perceptual, and structural aspects of action, and consist of sub-actions, pre- and post-conditions, and control flows. LEAP's action programs are centered on egocentric video and employ recent developments in LLMs both as a source for program knowledge and as an aggregator and assessor of multimodal video information. We apply LEAP over a majority (87\%) of the training set of the EPIC Kitchens dataset, and release the resulting action programs as a publicly available dataset here (https://drive.google.com/drive/folders/1Cpkw_TI1IIxXdzor0pOXG3rWJWuKU5Ex?usp=drive_link). We employ LEAP as a secondary source of supervision, using its action programs in a loss term applied to action recognition and anticipation networks. We demonstrate sizable improvements in performance in both tasks due to training with the LEAP dataset. Our method achieves 1st place on the EPIC Kitchens Action Recognition leaderboard as of November 17 among the networks restricted to RGB-input (see Supplementary Materials).