MMInA: Benchmarking Multihop Multimodal Internet Agents
作者: Shulin Tian, Ziniu Zhang, Liangyu Chen, Ziwei Liu
分类: cs.CV, cs.AI, cs.CL
发布日期: 2024-04-15 (更新: 2025-06-29)
备注: ACL 2025 findings. The live leaderboard is at https://mmina.cliangyu.com/
💡 一句话要点
提出MMInA基准以评估多跳多模态互联网代理的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 具身代理 长程推理 任务评估 记忆增强
📋 核心要点
- 现有基准无法在真实、动态的多模态网站环境中有效评估具身代理的能力。
- 提出MMInA基准，通过多跳和多模态任务评估代理的长程推理能力，并引入记忆增强机制。
- 实验结果显示，尽管人类在多跳任务中表现出色，现有代理的成功率较低，记忆增强方法显著提升了其表现。
📝 摘要（中文）
自主化的具身代理在多媒体网站上活动，能否在这些网站间跳转以完成复杂用户任务？现有基准未能在真实、动态的环境中评估代理的具身能力。为此，我们提出了MMInA，一个多跳多模态基准，用于评估具身代理在互联网任务中的表现。该基准具有几个显著特点：1) 真实世界多模态网站的演变；2) 多跳网页浏览的能力；3) 全面的评估协议。我们的实验表明，尽管人类在长链多跳任务中表现良好，但现有的最先进代理仍面临挑战。我们提出的简单记忆增强方法显著提升了代理的表现。
🔬 方法详解
问题定义：本论文旨在解决现有基准无法有效评估具身代理在真实多模态网站环境中的表现这一问题。现有方法未能考虑到动态性和复杂性，导致评估结果不够真实。
核心思路：论文提出MMInA基准，通过设计多跳和多模态任务，考察代理在不同网站间的信息获取和处理能力。引入记忆增强机制，帮助代理在多跳任务中更好地回顾和利用过去的行动轨迹。
技术框架：整体架构包括任务生成模块、数据收集模块和评估模块。任务生成模块负责创建多模态任务，数据收集模块从真实网站提取信息，评估模块则通过设定的协议评估代理的表现。
关键创新：最重要的创新在于引入了多跳和多模态的任务设计，特别是在真实网站环境中的应用，显著提升了评估的真实性和有效性。与现有方法相比，MMInA更能反映代理在复杂任务中的实际能力。
关键设计：在任务设计中，采用了1,050个涵盖购物和旅行等领域的人类编写任务，确保任务的多样性和复杂性。评估过程中，设计了新的评估协议，能够全面反映代理在多跳任务中的进展和成功率。实验中还采用了简单的记忆增强机制，以提高代理的表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，尽管人类在多跳任务中表现良好，现有最先进的代理在处理多跳任务时成功率较低，尤其是在早期跳转时。引入的记忆增强方法显著提升了代理的表现，单跳和多跳任务的成功率均有所提高，显示出该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化客服和信息检索系统等。通过提升具身代理在多模态环境中的表现，能够更好地满足用户在复杂任务中的需求，推动智能代理技术的实际应用和发展。
📄 摘要（原文）
Autonomous embodied agents live on an Internet of multimedia websites. Can they hop around multimodal websites to complete complex user tasks? Existing benchmarks fail to assess them in a realistic, evolving environment for their embodiment across websites. To answer this question, we present MMInA, a multihop and multimodal benchmark to evaluate the embodied agents for compositional Internet tasks, with several appealing properties: 1) Evolving real-world multimodal websites. Our benchmark uniquely operates on evolving real-world websites, ensuring a high degree of realism and applicability to natural user tasks. Our data includes 1,050 human-written tasks covering various domains such as shopping and travel, with each task requiring the agent to extract multimodal information from web pages as observations autonomously; 2) Multihop web browsing. Our dataset features naturally compositional tasks that require information from or actions on multiple websites to solve, to assess long-range reasoning capabilities on web tasks; 3) Holistic evaluation. We propose a novel protocol for evaluating an agent's progress in completing multihop tasks. We experiment with both standalone (multimodal) language models and heuristic-based web agents. Extensive experiments demonstrate that while long-chain multihop web tasks are easy for humans, they remain challenging for state-of-the-art web agents. We identify that agents are more likely to fail on the early hops when solving tasks with more hops, which results in lower task success rates. To address this issue, we propose a simple memory augmentation approach that replays past action trajectories to reflect. Our method significantly improves the performance of both the single-hop and multihop web browsing abilities. Our code and data are available at github.com/shulin16/MMInA.