JHiMA-WebRL: A Joint Hierarchical Multi-Agent Reinforcement Learning Framework for Long-Horizon Web Tasks

📄 arXiv: 2611.05263v1 📥 PDF

作者: Shanka Subhra Mondal, Jiayun Wang

分类: cs.AI

发布日期: 2026-11-03

💡 一句话要点

提出JHiMA-WebRL框架以解决长时间网页任务的规划挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间任务 多智能体系统 强化学习 任务分解 网页代理 层次规划 策略优化

📋 核心要点

  1. 现有方法在长时间网页任务中面临规划不足的问题，单一策略难以有效处理复杂的多步骤任务。
  2. 本文提出的JHiMA-WebRL框架通过联合训练任务分解器和执行者，增强了长时间网页导航的规划能力。
  3. 实验结果显示，JHiMA-WebRL在相同训练任务下的成功率达到37.2%，相比之下，其他基线模型的成功率仅为24%。

📝 摘要（中文）

多模态网页代理在通过图形用户界面（GUI）与网站交互方面展现出良好的能力，但现实网页任务通常需要长时间的多步骤规划，这对单一策略仍然具有挑战性。本文提出JHiMA-WebRL，一个联合层次多智能体强化学习框架，通过将任务分解器与执行者结合，探索了规划与执行的联合训练。我们使用强大的教师模型从多模态GUI轨迹中构建结构化子任务监督，并利用这些注释来微调分解器和子任务条件的执行者。在WebArena环境中，我们扩展了组相对策略优化（GRPO），通过层次回滚分组和角色特定优势来联合优化分解器和执行者。实验结果表明，JHiMA-WebRL在WebArena-Lite-v2上取得了37.2%的平均成功率，显著优于其他基线模型。

🔬 方法详解

问题定义：本文旨在解决长时间网页任务中的规划与执行问题。现有方法通常采用单一策略，难以有效处理复杂的多步骤任务，导致成功率低下。

核心思路：JHiMA-WebRL框架通过将任务分解器与执行者分离，并进行联合训练，提供了更强的归纳偏置，从而提升长时间网页导航的能力。

技术框架：该框架包括任务分解器和执行者两个主要模块。任务分解器负责将复杂任务分解为子任务，而执行者则根据这些子任务执行具体操作。训练过程中，利用教师模型生成的结构化监督信息来微调这两个模块。

关键创新：最重要的创新在于将规划与执行的训练过程联合进行，克服了传统方法中规划器与执行者分离的局限性，从而提升了任务处理的效率与成功率。

关键设计：在训练过程中，采用了层次回滚分组和角色特定优势的策略优化方法，确保了分解器和执行者的协同优化。此外，使用强教师模型生成的子任务监督信息作为训练的关键输入。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在WebArena-Lite-v2环境中，JHiMA-WebRL-14B模型的平均成功率达到了37.2%，相比之下，经过强化学习微调的ScaleCUA-32B模型成功率仅为24%。这一结果表明，联合训练的策略显著优于传统方法。

🎯 应用场景

该研究的潜在应用领域包括智能网页代理、自动化客服、在线购物助手等。通过提升长时间网页任务的处理能力，JHiMA-WebRL框架能够在实际应用中显著改善用户体验，推动智能代理技术的发展。

📄 摘要（原文）

Multimodal web agents have shown promising capabilities for interacting with websites through graphical user interfaces (GUIs), yet realistic web tasks often require long-horizon, multi-step planning that remains challenging for monolithic policies. Such agents must jointly infer high-level plans, navigate through intermediate states, track progress over extended interaction histories, and execute visually grounded actions. Although prior work has explored modular multi-agent systems with a separate planner, the planner is typically not updated jointly with the actor. We investigate whether explicitly separating and jointly training planning and execution provides a stronger inductive bias for long-horizon web navigation. We introduce JHiMA-WebRL, a joint hierarchical multi-agent reinforcement learning framework for web agents that couples a task decomposer with an actor. To train the decomposer, we use a strong teacher model to construct structured subtask supervision from multimodal GUI trajectories, and use these annotations to fine-tune both the decomposer and the subtask-conditioned actor. We then extend Group Relative Policy Optimization (GRPO) to jointly optimize the decomposer and actor in the interactive WebArena environment through hierarchical rollout grouping and role-specific advantages. On WebArena-Lite-v2, JHiMA-WebRL-14B, consisting of a 7B actor and a 7B decomposer, achieves an average success rate of 37.2%, compared with 24% for a ScaleCUA-32B agent that we fine-tune with RL on the same training tasks and evaluate under the same protocol. Ablations show that jointly updating the decomposer during RL outperforms updating the actor alone. These results suggest that jointly learned role factorization with smaller models can be a competitive alternative to scaling monolithic agents for long-horizon web tasks.