Multitask Multimodal Prompted Training for Interactive Embodied Task Completion
作者: Georgios Pantazopoulos, Malvina Nikandrou, Amit Parekh, Bhathiya Hemanthage, Arash Eshghi, Ioannis Konstas, Verena Rieser, Oliver Lemon, Alessandro Suglia
分类: cs.LG, cs.AI, cs.CV
发布日期: 2023-11-07
备注: EMNLP 2023
💡 一句话要点
提出EMMA以解决交互式具身任务完成中的语言与动作对接问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 交互式任务 具身智能体 文本生成 视觉与语言
📋 核心要点
- 现有的视觉与语言模型在交互式具身任务中面临语言与动作轨迹对接及指代消歧的挑战。
- 本文提出的EMMA模型通过将所有任务视为文本生成，统一了多模态信息的处理，提升了任务间的迁移能力。
- EMMA在多个基准测试中表现出色，特别是在DTC基准上达到了36.81%的成功率，超越了现有模型。
📝 摘要（中文）
交互式具身任务面临两个基本挑战：一是将语言与动作轨迹和观察结果进行对接，二是进行指代消歧。为了解决这些问题，本文提出了具身多模态智能体（EMMA），这是一个统一的编码-解码模型，能够对图像和轨迹进行推理，并将动作预测视为多模态文本生成。通过将所有任务统一为文本生成，EMMA学习了一种动作语言，从而促进了任务间的迁移。与以往独立训练组件的模块化方法不同，EMMA使用单一的多任务模型，各任务共同促进目标完成。EMMA在多个视觉与语言基准测试中表现良好，并在对话引导任务完成（DTC）基准上设定了新的最优性能（成功率为36.81%）。
🔬 方法详解
问题定义：本文旨在解决交互式具身任务中语言与动作轨迹的对接问题，以及指代消歧的挑战。现有方法通常采用模块化设计，组件独立训练，导致任务间的迁移能力不足。
核心思路：EMMA模型通过将所有任务统一为文本生成，构建了一种动作语言，从而实现了多模态信息的有效整合和任务间的协同学习。这种设计使得模型能够在不同任务中共享知识，提升整体性能。
技术框架：EMMA采用统一的编码-解码结构，主要模块包括图像编码器、轨迹编码器和文本生成器。模型通过对输入的图像和动作轨迹进行编码，生成对应的文本输出，完成动作预测。
关键创新：EMMA的最大创新在于其多任务学习框架，所有任务通过文本生成进行统一处理，避免了传统方法中各任务独立训练的局限性。这种方法不仅提升了模型的灵活性，还增强了任务间的知识迁移。
关键设计：在模型设计中，采用了共享的编码器结构，损失函数结合了文本生成和动作预测的目标。此外，模型的训练过程中使用了多任务学习策略，使得不同任务的学习相互促进。具体的参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
EMMA在多个视觉与语言基准测试中表现优异，特别是在对话引导任务完成（DTC）基准上，成功率达到了36.81%，显著高于现有模型。这一结果展示了其在交互式任务中的有效性和创新性。
🎯 应用场景
该研究的潜在应用领域包括智能家居、机器人助手和虚拟现实等场景。在这些应用中，EMMA能够更好地理解用户的语言指令，并根据环境反馈进行相应的动作，从而提升交互体验和任务完成效率。未来，EMMA的设计理念可能会推动更多具身智能体的研究与开发。
📄 摘要（原文）
Interactive and embodied tasks pose at least two fundamental challenges to existing Vision & Language (VL) models, including 1) grounding language in trajectories of actions and observations, and 2) referential disambiguation. To tackle these challenges, we propose an Embodied MultiModal Agent (EMMA): a unified encoder-decoder model that reasons over images and trajectories, and casts action prediction as multimodal text generation. By unifying all tasks as text generation, EMMA learns a language of actions which facilitates transfer across tasks. Different to previous modular approaches with independently trained components, we use a single multitask model where each task contributes to goal completion. EMMA performs on par with similar models on several VL benchmarks and sets a new state-of-the-art performance (36.81% success rate) on the Dialog-guided Task Completion (DTC), a benchmark to evaluate dialog-guided agents in the Alexa Arena