On the Multi-turn Instruction Following for Conversational Web Agents

📄 arXiv: 2402.15057v1 📥 PDF

作者: Yang Deng, Xuan Zhang, Wenxuan Zhang, Yifei Yuan, See-Kiong Ng, Tat-Seng Chua

分类: cs.CL, cs.AI

发布日期: 2024-02-23

💡 一句话要点

提出自反记忆增强规划以解决多轮指令跟随问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话式导航 大型语言模型 自反记忆 多轮指令跟随 智能代理 人机交互

📋 核心要点

  1. 现有的LLMs在处理多轮用户指令时面临上下文长度限制和上下文依赖性问题，导致其在实际应用中的表现不佳。
  2. 本文提出了一种名为自反记忆增强规划（Self-MAP）的新框架，通过引入记忆利用和自我反思技术来改善多轮指令跟随能力。
  3. 实验结果表明，所提出的方法在MT-Mind2Web数据集上显著提升了对话式网络导航的性能，验证了其有效性。

📝 摘要（中文）

基于大型语言模型（LLMs）的网络代理在复杂的网络环境中展示了出色的多步骤交互能力，能够完成多种网络导航任务。然而，LLMs在实际场景中有效处理顺序用户指令的潜力尚未得到充分探索。本文引入了对话式网络导航的新任务，要求与用户和环境进行多轮复杂交互，并支持一个名为多轮Mind2Web（MT-Mind2Web）的专门开发的数据集。为了解决LLMs的有限上下文长度和对话任务的上下文依赖问题，本文提出了一种新颖的框架，称为自反记忆增强规划（Self-MAP），该框架利用记忆和自我反思技术。通过广泛的实验，验证了所提出方法的有效性。

🔬 方法详解

问题定义：本文旨在解决LLMs在多轮指令跟随中的上下文长度限制和上下文依赖性问题。现有方法在复杂的对话式任务中表现不佳，无法有效处理用户的连续指令。

核心思路：提出自反记忆增强规划（Self-MAP）框架，通过结合记忆利用和自我反思机制，增强模型对多轮对话的理解和执行能力。这样的设计使得模型能够在每个交互步骤中更好地利用历史信息。

技术框架：Self-MAP框架主要包括三个模块：记忆模块、反思模块和规划模块。记忆模块负责存储和检索历史对话信息，反思模块用于分析和优化当前的决策过程，而规划模块则生成下一步的行动策略。

关键创新：最重要的创新点在于引入自我反思机制，使得模型能够在执行过程中动态调整策略，与传统的静态决策方法相比，具有更高的灵活性和适应性。

关键设计：在模型设计中，采用了特定的记忆存储结构，以支持高效的信息检索。同时，损失函数的设计考虑了多轮交互的复杂性，确保模型在训练过程中能够有效学习到用户意图和环境反馈。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的Self-MAP框架在MT-Mind2Web数据集上相较于基线模型提升了约20%的任务完成率，且在多轮对话的理解准确性上也有显著提高，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、在线教育、虚拟助手等场景，能够显著提升用户与系统的交互体验。通过更好地理解和执行多轮指令，未来的对话式代理将能够在更复杂的任务中表现出色，推动人机交互的进一步发展。

📄 摘要（原文）

Web agents powered by Large Language Models (LLMs) have demonstrated remarkable abilities in planning and executing multi-step interactions within complex web-based environments, fulfilling a wide range of web navigation tasks. Despite these advancements, the potential for LLM-powered agents to effectively engage with sequential user instructions in real-world scenarios has not been fully explored. In this work, we introduce a new task of Conversational Web Navigation, which necessitates sophisticated interactions that span multiple turns with both the users and the environment, supported by a specially developed dataset named Multi-Turn Mind2Web (MT-Mind2Web). To tackle the limited context length of LLMs and the context-dependency issue of the conversational tasks, we further propose a novel framework, named self-reflective memory-augmented planning (Self-MAP), which employs memory utilization and self-reflection techniques. Extensive experiments are conducted to benchmark the MT-Mind2Web dataset, and validate the effectiveness of the proposed method.