MELLON - Multimodal Enhanced LLM for Online Navigation

📄 arXiv: 2608.09121v1 📥 PDF

作者: Ruiyu Li, Haoyang Cai, Zhitong Guo, Tong Hu

分类: cs.AI

发布日期: 2026-08-10

💡 一句话要点

提出MELLON以提升在线导航任务的多模态推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态增强 网页导航 推理能力 任务规划 图像与文本对齐

📋 核心要点

  1. 现有的网页导航方法要么是单模态，缺乏处理多模态输入的推理能力，导致任务完成率低。
  2. 本文提出了MELLON模型，通过增强文本与图像的对齐能力，提升多模态推理和规划能力，解决现有方法的不足。
  3. 实验结果显示，MELLON在任务完成准确性上提升了9.26%，表明多模态方法在网页导航中的有效性。

📝 摘要（中文）

网页导航代理能够处理不同网站上的多种任务。目前的网页导航基线要么是单模态的，要么在面对多模态输入时缺乏强大的推理能力。本文聚焦于WebShop基准测试，探索文本与图像的对齐，以及多模态推理和规划能力，以增强网页导航代理的性能。我们提出了三种创新的多模态增强方法：在线导航的多模态增强大语言模型（MELLON）、VQAgent和多模态排序器。MELLON在任务完成准确性上表现出显著提升，仅经过一个训练周期后提高了9.26%。我们的研究结果表明，进一步探索多模态方法的必要性，特别是在更广泛的训练和对齐策略方面，以增强网页导航代理的有效性。

🔬 方法详解

问题定义：本文旨在解决现有网页导航代理在处理多模态输入时的推理能力不足问题，现有方法往往无法有效结合文本和图像信息。

核心思路：通过提出多模态增强大语言模型（MELLON），实现文本与图像的深度对齐，增强多模态推理和规划能力，从而提升网页导航的任务完成率。

技术框架：MELLON的整体架构包括三个主要模块：文本与图像对齐模块、多模态推理模块和任务规划模块。该框架通过协同工作，提升了信息处理的效率和准确性。

关键创新：MELLON的核心创新在于其多模态增强机制，能够有效整合文本和图像信息，与传统单模态方法相比，显著提高了推理能力和任务完成率。

关键设计：在模型设计中，采用了特定的损失函数来优化文本与图像的对齐效果，并通过多层神经网络结构增强模型的表达能力，确保在多模态输入下的高效推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MELLON在任务完成准确性上提升了9.26%，经过仅一个训练周期的优化，显著超越了现有的基线模型，展示了多模态方法在网页导航中的有效性和潜力。

🎯 应用场景

该研究的潜在应用场景包括电子商务、在线客服和信息检索等领域，能够显著提升用户在复杂网页环境中的导航体验。未来，MELLON模型还可以扩展到其他多模态任务，如图像描述生成和视频理解等，具有广泛的实际价值和影响力。

📄 摘要（原文）

Web navigation agents are capable of addressing various types of tasks on different websites. Current baselines on web navigation are either unimodal or lack strong reasoning abilities given multimodal inputs. Focusing on the WebShop benchmark, a real-world website simulation, we explore the alignment of text and images, as well as multimodal reasoning and planning abilities, to enhance the performance of web navigation agents. We propose three innovative multimodal enhancements: Multimodal Enhanced LLM for Online Navigation (MELLON), VQAgent, and Multimodal Ranker. MELLON demonstrates a significant improvement in task completion accuracy, with a 9.26% increase after just one epoch of training. Our findings suggest the necessity of further exploration into multimodal approaches, with a focus on more extensive training and alignment strategies to enhance the effectiveness of web navigation agents.