Act2Intention: A Benchmark For Developing Active Mobile Agents Through Inferring User Intention from GUI Actions

📄 arXiv: 2608.14132v1 📥 PDF

作者: Xiaokai Yan, Jingtao Ding, Yong Li, Zhiwen Yu

分类: cs.HC, cs.AI

发布日期: 2026-08-14

DOI: 10.1145/3831658

💡 一句话要点

提出Act2Intention框架以解决主动移动代理用户意图推断问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主动代理 用户意图推断 多模态学习 人机交互 智能助手 基准评估

📋 核心要点

  1. 现有方法主要关注反应式任务执行，缺乏对用户意图的全面理解和预测，限制了主动代理的发展。
  2. 本文提出Act2Intention框架，通过理解、预测用户意图和执行决策，构建主动移动代理，提升人机交互的智能化水平。
  3. 实验结果显示，基于Act2Intention基准的监督微调显著提升了意图理解、预测和执行的准确性，验证了框架的有效性。

📝 摘要（中文）

移动GUI代理通过多模态大语言模型（MLLMs）在人与计算机智能交互中展现出潜力。然而，现有研究主要集中于反应式任务执行，缺乏对用户意图的全面理解、预测和执行过程。本文提出Act2Intention框架，通过整合用户意图的理解、预测和决策执行，构建主动移动代理。我们构建了Act2Intention基准，包含72,511个意图和超过700,000个动作，成为评估主动代理的首个基准。实验结果表明，在意图理解、预测和执行方面，经过监督微调的代理在相同框架下分别提升了+32.0 Acc-S、+10.25 Acc-S和+6.9 SSR点，强调了Act2Intention基准的必要性和价值。

🔬 方法详解

问题定义：本文旨在解决主动移动代理在用户意图推断方面的不足，现有方法缺乏对用户意图的深入理解和预测能力，导致代理的反应性不足。

核心思路：提出Act2Intention框架，通过整合用户意图的理解、预测和决策执行，构建一个能够主动响应用户需求的移动代理。这样的设计旨在提升人机交互的智能化和流畅性。

技术框架：整体架构包括三个主要模块：主动导向的意图理解、个性化的主动意图预测和经验指导的意图执行。通过数据收集和验证生成，构建了Act2Intention基准，支持对主动代理的评估。

关键创新：最重要的创新在于建立了一个包含72,511个意图和700,000个动作的基准，首次为主动代理的评估提供了标准化平台，推动了意图驱动的人机交互研究。

关键设计：在模型训练中，采用了监督微调策略，优化了意图理解、预测和执行的损失函数，提升了代理在相同框架下的性能表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于Act2Intention基准的监督微调在意图理解、预测和执行方面分别提升了+32.0 Acc-S、+10.25 Acc-S和+6.9 SSR点，显著优于未微调的对照组，验证了框架的有效性和必要性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、移动应用和人机交互系统等。通过提升代理对用户意图的理解和预测能力，能够显著改善用户体验，推动智能化服务的发展。未来，该框架有望在更广泛的场景中应用，促进主动智能代理的普及与发展。

📄 摘要（原文）

Mobile GUI Agents powered by multimodal large language models (MLLMs) show promise in human-computer intelligence. However, current research primarily focuses on reactive task execution while lacking a comprehensive understanding-prediction-execution process for user intentions, which are the core requirements of active agents. In this paper, we propose the Act2Intention framework that builds an active mobile agent by integrating understanding, predicting user intentions, and executing decisions. First, we construct the Act2Intention Bench through data collection and validated generation, comprising 72,511 intentions and over 700,000 actions across 52 apps, thereby establishing the first benchmark for evaluating proactive agents via continuous intention-action trajectories. We further develop the Act2Intention Agent, achieving proactive services through Proactive-oriented Intention Understanding, Personalized Proactive Intention Prediction, and Experience-guided Intention Execution. Experimental results show that supervised fine-tuning on Act2Intention Bench yields absolute improvements of +32.0 Acc-S, +10.25 Acc-S, and +6.9 SSR points over non-fine-tuned counterparts under the same agent framework for intention understanding, prediction, and execution, respectively. This success underscores the necessity and value of the Act2Intention Bench, which establishes a standardized platform for developing and evaluating proactive agents and consequently paves the way for research on intention-driven human-computer interaction.