Quick on the Uptake: Eliciting Implicit Intents from Human Demonstrations for Personalized Mobile-Use Agents

📄 arXiv: 2508.08645v1 📥 PDF

作者: Zheng Wu, Heyuan Huang, Yanjia Yang, Yuanyi Song, Xingyu Lou, Weiwen Liu, Weinan Zhang, Jun Wang, Zhuosheng Zhang

分类: cs.CL

发布日期: 2025-08-12

🔗 代码/项目: GITHUB

💡 一句话要点

提出IFRAgent框架以解决个性化移动代理的意图识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化代理 意图识别 人类演示 多模态学习 移动任务自动化

📋 核心要点

  1. 现有方法主要关注人类的显性意图流，忽视了隐性意图流，导致个性化移动代理的构建困难。
  2. 本文提出IFRAgent框架，通过分析人类演示中的显性和隐性意图流，构建意图对齐的标准操作程序和用户习惯库。
  3. 实验结果显示，IFRAgent在意图对齐率上平均提升6.79%，在步骤完成率上平均提升5.30%，显著优于基线方法。

📝 摘要（中文）

随着多模态大语言模型的快速发展，移动任务的自动化变得愈加可行。以往的研究主要关注人类的显性意图流，而忽视了隐性意图流，导致个性化移动代理的构建面临挑战。本文提出了IFRAgent框架，通过分析人类演示中的显性和隐性意图流，构建标准操作程序库和用户习惯库，从而提升移动代理与人类意图的对齐程度。实验结果表明，IFRAgent在意图对齐率上平均提升6.79%，在步骤完成率上平均提升5.30%。

🔬 方法详解

问题定义：本文旨在解决个性化移动代理在理解人类意图时的不足，尤其是对隐性意图流的忽视，使得代理难以满足用户的个性化需求。

核心思路：IFRAgent框架通过分析人类演示中的显性意图流和隐性意图流，构建标准操作程序库和用户习惯库，从而提升移动代理与人类意图的对齐程度。

技术框架：IFRAgent的整体架构包括数据收集、意图流识别、标准操作程序提取、查询重写和个性化生成等模块。首先收集MobileIAR数据集，然后分析显性和隐性意图流，最后生成个性化的查询和标准操作程序。

关键创新：最重要的技术创新在于同时考虑显性和隐性意图流，构建了一个全面的意图对齐评估框架，显著提高了移动代理的个性化能力。

关键设计：在技术细节上，IFRAgent使用了查询级向量库来存储标准操作程序，并结合检索增强生成和查询重写技术，以生成更符合用户需求的个性化查询和操作程序。具体的损失函数和网络结构设计尚未详细说明。

📊 实验亮点

实验结果表明，IFRAgent在意图对齐率上平均提升6.79%，相对提升32.06%；在步骤完成率上平均提升5.30%，相对提升26.34%。这些结果显示了IFRAgent在理解和响应用户意图方面的显著优势。

🎯 应用场景

该研究的潜在应用领域包括智能手机助手、智能家居控制和个性化服务等。通过提升移动代理对用户隐性意图的理解能力，可以显著改善用户体验，推动智能助手的广泛应用。未来，IFRAgent框架有望在更多领域实现个性化服务的自动化。

📄 摘要（原文）

As multimodal large language models advance rapidly, the automation of mobile tasks has become increasingly feasible through the use of mobile-use agents that mimic human interactions from graphical user interface. To further enhance mobile-use agents, previous studies employ demonstration learning to improve mobile-use agents from human demonstrations. However, these methods focus solely on the explicit intention flows of humans (e.g., step sequences) while neglecting implicit intention flows (e.g., personal preferences), which makes it difficult to construct personalized mobile-use agents. In this work, to evaluate the \textbf{I}ntention \textbf{A}lignment \textbf{R}ate between mobile-use agents and humans, we first collect \textbf{MobileIAR}, a dataset containing human-intent-aligned actions and ground-truth actions. This enables a comprehensive assessment of the agents' understanding of human intent. Then we propose \textbf{IFRAgent}, a framework built upon \textbf{I}ntention \textbf{F}low \textbf{R}ecognition from human demonstrations. IFRAgent analyzes explicit intention flows from human demonstrations to construct a query-level vector library of standard operating procedures (SOP), and analyzes implicit intention flows to build a user-level habit repository. IFRAgent then leverages a SOP extractor combined with retrieval-augmented generation and a query rewriter to generate personalized query and SOP from a raw ambiguous query, enhancing the alignment between mobile-use agents and human intent. Experimental results demonstrate that IFRAgent outperforms baselines by an average of 6.79\% (32.06\% relative improvement) in human intention alignment rate and improves step completion rates by an average of 5.30\% (26.34\% relative improvement). The codes are available at https://github.com/MadeAgents/Quick-on-the-Uptake.