LEGO: Learning EGOcentric Action Frame Generation via Visual Instruction Tuning

📄 arXiv: 2312.03849v2 📥 PDF

作者: Bolin Lai, Xiaoliang Dai, Lawrence Chen, Guan Pang, James M. Rehg, Miao Liu

分类: cs.CV

发布日期: 2023-12-06 (更新: 2024-03-22)

备注: 34 pages

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出LEGO：通过视觉指令微调学习以自我为中心的动作帧生成

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我中心视觉 动作帧生成 视觉指令微调 扩散模型 视觉语言模型 图像操作 Ego4D Epic-Kitchens

📋 核心要点

  1. 现有以自我为中心的动作数据集缺乏详细的动作执行标注，限制了动作帧生成的研究。
  2. LEGO通过视觉指令微调增强提示信息，并利用视觉语言模型（VLLM）的嵌入来提升扩散模型的性能。
  3. 在Ego4D和Epic-Kitchens数据集上的实验表明，LEGO在动作帧生成任务上显著优于现有图像操作模型。

📝 摘要（中文）

本文提出了一种新的问题——以自我为中心的动作帧生成。目标是在用户提示和输入的以自我为中心的图像的条件下，合成一张描绘用户上下文中动作的图像（即动作帧）。现有的以自我为中心的动作数据集缺乏描述动作执行的详细注释。此外，现有的基于扩散的图像操作模型在控制以自我为中心的图像像素空间中的动作状态转换方面表现不佳，因为存在领域差距。为此，我们提出通过视觉指令微调来学习以自我为中心的（LEGO）动作帧生成。首先，我们引入了一种提示增强方案，通过视觉大型语言模型（VLLM）的视觉指令微调来生成丰富的动作描述。然后，我们提出了一种新方法，利用来自VLLM的图像和文本嵌入作为额外的条件，以提高扩散模型的性能。我们在Ego4D和Epic-Kitchens两个以自我为中心的数据集上验证了我们的模型。实验表明，在定量和定性评估中，我们的模型比之前的图像操作模型有显著的改进。我们还进行了详细的消融研究和分析，以提供对我们方法的深入了解。

🔬 方法详解

问题定义：论文旨在解决以自我为中心的动作帧生成问题，即根据用户提示和第一人称视角图像，合成下一步动作的图像。现有方法，特别是基于扩散模型的图像操作方法，在处理这种视角和动作状态转换时存在领域差距，效果不佳。此外，缺乏带有详细动作描述标注的以自我为中心的数据集也是一个挑战。

核心思路：论文的核心思路是利用视觉指令微调（Visual Instruction Tuning）来增强动作描述，并利用视觉语言模型（VLLM）提取的图像和文本嵌入作为扩散模型的额外条件。通过这种方式，模型可以更好地理解用户的意图，并生成更符合上下文的动作帧。

技术框架：LEGO框架主要包含两个阶段：1) 提示增强阶段：使用视觉指令微调的VLLM生成更丰富的动作描述；2) 动作帧生成阶段：利用扩散模型，并以原始图像、增强的文本提示以及VLLM提取的图像和文本嵌入作为条件，生成目标动作帧。

关键创新：关键创新在于将视觉指令微调和VLLM嵌入相结合，用于以自我为中心的动作帧生成。传统的图像操作方法通常直接在像素空间进行操作，而LEGO通过VLLM理解场景和动作，从而更好地控制生成过程。此外，提示增强方案也显著提升了生成质量。

关键设计：论文使用了基于扩散模型的图像生成框架，并引入了VLLM提取的图像和文本嵌入作为额外的条件输入。具体的网络结构和损失函数细节未在摘要中详细说明，但强调了VLLM在特征提取和语义理解中的作用。提示增强方案的具体实现方式（例如，使用的VLLM模型、微调数据集等）也未在摘要中详细说明。

📊 实验亮点

实验结果表明，LEGO在Ego4D和Epic-Kitchens数据集上显著优于现有的图像操作模型。具体的性能指标和提升幅度未在摘要中给出，但强调了在定量和定性评估中均取得了显著的改进。消融研究也验证了各个模块的有效性。

🎯 应用场景

该研究成果可应用于机器人辅助、虚拟现实、增强现实等领域。例如，可以帮助机器人理解人类指令并预测下一步动作，或者在VR/AR环境中生成逼真的交互场景。该技术还有潜力应用于智能家居、远程协作等领域，提升人机交互的自然性和效率。

📄 摘要（原文）

Generating instructional images of human daily actions from an egocentric viewpoint serves as a key step towards efficient skill transfer. In this paper, we introduce a novel problem -- egocentric action frame generation. The goal is to synthesize an image depicting an action in the user's context (i.e., action frame) by conditioning on a user prompt and an input egocentric image. Notably, existing egocentric action datasets lack the detailed annotations that describe the execution of actions. Additionally, existing diffusion-based image manipulation models are sub-optimal in controlling the state transition of an action in egocentric image pixel space because of the domain gap. To this end, we propose to Learn EGOcentric (LEGO) action frame generation via visual instruction tuning. First, we introduce a prompt enhancement scheme to generate enriched action descriptions from a visual large language model (VLLM) by visual instruction tuning. Then we propose a novel method to leverage image and text embeddings from the VLLM as additional conditioning to improve the performance of a diffusion model. We validate our model on two egocentric datasets -- Ego4D and Epic-Kitchens. Our experiments show substantial improvement over prior image manipulation models in both quantitative and qualitative evaluation. We also conduct detailed ablation studies and analysis to provide insights in our method. More details of the dataset and code are available on the website (https://bolinlai.github.io/Lego_EgoActGen/).