Embodied Multi-Modal Agent trained by an LLM from a Parallel TextWorld

📄 arXiv: 2311.16714v2 📥 PDF

作者: Yijun Yang, Tianyi Zhou, Kanxue Li, Dapeng Tao, Lusong Li, Li Shen, Xiaodong He, Jing Jiang, Yuhui Shi

分类: cs.CV

发布日期: 2023-11-28 (更新: 2024-03-29)

备注: Accepted by CVPR 2024

💡 一句话要点

提出EMMA以解决多模态智能体在视觉世界中的适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态智能体 视觉-语言模型 跨模态学习 具身学习 DAgger-DPO算法

📋 核心要点

  1. 现有的视觉-语言模型在具身视觉世界中的训练不足，导致其无法有效适应复杂的动态环境。
  2. 本文提出通过平行文本世界中的LLM反思结果来微调VLM，从而训练出具身多模态智能体EMMA，快速适应视觉世界。
  3. EMMA在ALFWorld基准测试中表现优异，相较于现有的VLM智能体，成功率提升了20%-70%。

📝 摘要（中文）

尽管大型语言模型（LLMs）在文本模拟世界中表现出色，但在缺乏视觉或音频信号等其他模态感知的情况下，它们在与更现实的世界互动时面临挑战。现有的视觉-语言模型（VLMs）虽然整合了与静态图像特征对齐的LLM模块，但未在具身视觉世界中训练，因此无法与其动态对齐。本文提出了一种新方法，通过在平行文本世界中训练的LLM来训练一个生活在视觉世界中的VLM智能体，称为具身多模态智能体（EMMA）。该方法通过DAgger-DPO算法实现了跨模态模仿学习，使EMMA能够在没有进一步指导的情况下，快速适应视觉世界的动态。实验结果表明，EMMA在ALFWorld基准测试中的表现优于现有的VLM智能体，成功率提升20%-70%。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言模型在具身视觉世界中适应性不足的问题。现有方法在动态环境中的训练效率低且缺乏专家指导，导致智能体无法有效学习。

核心思路：论文提出通过在平行文本世界中训练的LLM的反思结果来微调VLM，利用文本世界中的任务经验来提升视觉世界中的表现。这样的设计使得智能体能够快速适应新的环境和任务。

技术框架：整体架构包括两个主要部分：一是平行文本世界中的LLM，二是生活在视觉世界中的VLM。通过DAgger-DPO算法实现跨模态的模仿学习，确保EMMA能够在视觉世界中有效执行任务。

关键创新：最重要的技术创新在于DAgger-DPO算法的提出，它使得EMMA能够在没有进一步指导的情况下，广泛适应新的任务。这一方法与传统的单一模态训练方法本质上不同，能够实现更高效的学习。

关键设计：在模型训练中，采用了特定的损失函数来平衡文本和视觉模态的学习，同时在网络结构上进行了优化，以增强模型对动态环境的适应能力。

📊 实验亮点

EMMA在ALFWorld基准测试中表现出色，相较于现有的VLM智能体，其成功率提升了20%-70%。这一显著的性能提升证明了跨模态学习的有效性，展示了新方法在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、虚拟助手和自动驾驶等场景，能够显著提升这些系统在复杂环境中的交互能力和适应性。未来，EMMA的技术可以扩展到更多模态的融合学习，推动多模态智能体的发展。

📄 摘要（原文）

While large language models (LLMs) excel in a simulated world of texts, they struggle to interact with the more realistic world without perceptions of other modalities such as visual or audio signals. Although vision-language models (VLMs) integrate LLM modules (1) aligned with static image features, and (2) may possess prior knowledge of world dynamics (as demonstrated in the text world), they have not been trained in an embodied visual world and thus cannot align with its dynamics. On the other hand, training an embodied agent in a noisy visual world without expert guidance is often challenging and inefficient. In this paper, we train a VLM agent living in a visual world using an LLM agent excelling in a parallel text world. Specifically, we distill LLM's reflection outcomes (improved actions by analyzing mistakes) in a text world's tasks to finetune the VLM on the same tasks of the visual world, resulting in an Embodied Multi-Modal Agent (EMMA) quickly adapting to the visual world dynamics. Such cross-modality imitation learning between the two parallel worlds is achieved by a novel DAgger-DPO algorithm, enabling EMMA to generalize to a broad scope of new tasks without any further guidance from the LLM expert. Extensive evaluations on the ALFWorld benchmark's diverse tasks highlight EMMA's superior performance to SOTA VLM-based agents, e.g., 20%-70% improvement in the success rate.