SAGE: Smart home Agent with Grounded Execution

📄 arXiv: 2311.00772v2 📥 PDF

作者: Dmitriy Rivkin, Francois Hogan, Amal Feriani, Abhisek Konar, Adam Sigal, Steve Liu, Greg Dudek

分类: cs.AI, cs.HC, cs.RO

发布日期: 2023-11-01 (更新: 2024-01-19)

💡 一句话要点

提出SAGE以解决智能家居助手的执行与知识局限问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 智能家居 大型语言模型 用户请求解析 动态提示树 设备状态监控 个性化管理 智能助手 执行策略

📋 核心要点

  1. 现有的智能家居助手依赖于大型语言模型，但缺乏对用户和家庭环境的具体知识，导致执行能力受限。
  2. SAGE通过用户请求触发LLM控制的离散动作序列，动态构建提示树以优化决策过程，从而增强智能家居助手的能力。
  3. 在50个新智能家居任务中，SAGE实现了75%的成功率，显著高于现有基线的30%，展示了其有效性和实用性。

📝 摘要（中文）

大型语言模型（LLMs）在智能家居助手中具有自然的用户请求解释能力，但缺乏特定用户和家庭的知识，限制了其潜力。SAGE（Smart Home Agent with Grounded Execution）通过用户请求触发LLM控制的离散动作序列，克服了这些限制。这些动作可用于检索信息、与用户互动或操作设备状态。SAGE通过动态构建的LLM提示树控制这一过程，帮助决定下一步动作、判断动作是否成功以及何时终止。SAGE的动作集增强了LLM的能力，支持智能家居助手的关键需求，包括灵活的用户偏好管理、无设备特定代码的智能设备功能访问、持久的设备状态监控和自然的设备引用。SAGE在50个新挑战性智能家居任务的基准测试中实现了75%的成功率，显著优于现有的LLM基线（30%成功率）。

🔬 方法详解

问题定义：本论文旨在解决智能家居助手在用户请求执行中的知识局限性和执行能力不足的问题。现有方法主要依赖于大型语言模型（LLMs），但缺乏对用户个性化需求和家庭环境的理解，导致执行效果不佳。

核心思路：SAGE的核心思路是通过用户请求触发一系列由LLM控制的离散动作，这些动作可以检索信息、与用户互动或操作设备状态。通过动态构建的提示树，SAGE能够有效地决定下一步的行动，并判断当前动作的成功与否。

技术框架：SAGE的整体架构包括用户请求解析、动作选择、执行反馈和状态监控四个主要模块。用户请求首先被解析为具体的动作，然后通过提示树选择合适的执行路径，最后根据执行结果进行反馈和状态更新。

关键创新：SAGE的主要创新在于其动态提示树的构建和使用，这使得系统能够根据上下文灵活调整执行策略，与传统的静态执行模型相比，具有更高的适应性和智能化水平。

关键设计：在设计中，SAGE采用了多层次的提示结构，以支持复杂的用户请求和设备交互。同时，系统通过持续的状态监控和反馈机制，确保设备状态的实时更新和用户需求的及时响应。具体的参数设置和损失函数设计尚未详细披露。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SAGE在50个新智能家居任务的基准测试中实现了75%的成功率，显著高于现有LLM基线的30%。这一结果表明，SAGE在处理复杂用户请求和设备交互方面具有显著的优势，展示了其在智能家居助手领域的有效性。

🎯 应用场景

SAGE的研究成果在智能家居领域具有广泛的应用潜力。它可以用于家庭自动化、智能设备管理和个性化用户体验等场景，提升用户与智能家居系统的互动质量。未来，SAGE有望进一步扩展到其他领域，如智能城市和物联网设备的集成管理，推动智能环境的智能化发展。

📄 摘要（原文）

The common sense reasoning abilities and vast general knowledge of Large Language Models (LLMs) make them a natural fit for interpreting user requests in a Smart Home assistant context. LLMs, however, lack specific knowledge about the user and their home limit their potential impact. SAGE (Smart Home Agent with Grounded Execution), overcomes these and other limitations by using a scheme in which a user request triggers an LLM-controlled sequence of discrete actions. These actions can be used to retrieve information, interact with the user, or manipulate device states. SAGE controls this process through a dynamically constructed tree of LLM prompts, which help it decide which action to take next, whether an action was successful, and when to terminate the process. The SAGE action set augments an LLM's capabilities to support some of the most critical requirements for a Smart Home assistant. These include: flexible and scalable user preference management ("is my team playing tonight?"), access to any smart device's full functionality without device-specific code via API reading "turn down the screen brightness on my dryer", persistent device state monitoring ("remind me to throw out the milk when I open the fridge"), natural device references using only a photo of the room ("turn on the light on the dresser"), and more. We introduce a benchmark of 50 new and challenging smart home tasks where SAGE achieves a 75% success rate, significantly outperforming existing LLM-enabled baselines (30% success rate).