Unified Agent: Managing Interactions across Devices
作者: Xinshuang Liu, Runfa Blark Li, Shaoxiu Wei, Xin Lin, Truong Nguyen
分类: cs.AI, cs.CL, cs.CV, cs.HC
发布日期: 2026-08-06
💡 一句话要点
提出统一代理以解决跨设备交互管理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 跨设备交互 状态管理 智能代理 多模态学习 用户体验
📋 核心要点
- 现有的代理系统在跨设备交互中存在观察信息分散和状态管理不足的问题。
- 论文提出统一代理，通过有效的状态管理，组织交互证据和请求，以便于决策。
- 实验结果显示，统一代理在多种设置下均显著优于四种现有设计，展示了其优越性。
📝 摘要（中文）
随着人工智能代理能力的快速提升，代理从单一应用内运行扩展到跨用户设备的行为。然而，现有代理系统在这一场景中仍显不足，原因在于观察信息分散于不同设备和时间点。单一代理将设备视为工具，缺乏有效的状态管理，而多代理系统虽能协调代理间的互动，但无法维持跨设备、跨时间请求所需的紧凑状态。本文提出统一代理（Unified Agent），通过有效设计的状态管理，携带交互证据，利用当前观察进行决策。实验表明，统一代理在多模态大语言模型设置下显著优于现有设计，展示了其状态设计优势的稳健性。
🔬 方法详解
问题定义：本文旨在解决跨设备、跨时间的代理交互管理问题。现有方法在状态管理上存在不足，无法有效整合不同设备的观察信息。
核心思路：统一代理通过设计一个紧凑的状态，组织交互证据和请求信息，以便在当前观察下做出有效决策。这种设计使得代理能够跨设备保持上下文一致性。
技术框架：统一代理的架构包括状态管理模块、观察处理模块和决策模块。状态管理模块负责存储和更新交互证据，观察处理模块用于接收和解析来自不同设备的输入，决策模块则基于当前状态和观察信息生成行动。
关键创新：统一代理的核心创新在于其状态设计，能够有效整合跨设备的交互信息，与传统单一代理和多代理系统相比，提供了更为紧凑和高效的状态管理。
关键设计：在设计中，统一代理采用了特定的状态更新机制和损失函数，以确保状态的准确性和实时性。此外，网络结构经过优化，以支持多模态输入的处理。
🖼️ 关键图片
📊 实验亮点
实验结果表明，统一代理在默认设置下显著优于四种现有设计，尤其在多模态大语言模型的不同设置中，始终保持领先，展示了其状态设计的稳健性和有效性。
🎯 应用场景
统一代理的研究成果可广泛应用于智能家居、跨设备协作和个性化助手等领域。通过有效管理跨设备的交互，提升用户体验和工作效率，未来可能在智能生活和工作场景中发挥重要作用。
📄 摘要（原文）
As capabilities rapidly increase, AI agents can move from running inside one app to acting across a user's devices over time. Yet existing agent systems still fall short in this scenario. This is because observations are scattered across devices and moments, but mainstream systems are not designed around this fact: a single agent that treats devices as tools lacks effective state management for all devices across time, and multi-agent systems coordinate across agents but do not maintain the compact carried state a cross-device, cross-time request needs. We argue that the agent should maintain an effectively designed state that organizes engagement evidence, stated facts, and the standing request in a compact, action-ready form for deciding its action given the current observation. To compare state designs, we construct a benchmark of user-agent interaction across devices and time. We instantiate this principle in Unified Agent, a stateful agent that carries interaction evidence across devices and moments and uses it with the current observation to act. In the default setting, it significantly outperforms our adaptations of four published designs. Across changes in multimodal large language model (MLLM) family, capability, and reasoning effort, it remains ahead of all compared systems, demonstrating that the state-design advantage is robust across MLLM settings. Our code and data will be publicly available on GitHub.