SimuHome: A Temporal- and Environment-Aware Benchmark for Smart Home LLM Agents
作者: Gyuhyeon Seo, Jungwoo Yang, Junseong Pyo, Nalim Kim, Jonggeun Lee, Yohan Jo
分类: cs.CL, cs.AI
发布日期: 2025-09-29 (更新: 2025-12-08)
备注: 10 pages
💡 一句话要点
SimuHome：面向智能家居LLM代理的时间与环境感知基准测试
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 智能家居 LLM代理 模拟环境 基准测试 Matter协议 时间加速 ReAct框架
📋 核心要点
- 现有智能家居LLM代理缺乏在真实环境中交互和评估的有效手段，难以应对时间依赖、设备约束等复杂场景。
- SimuHome通过构建时间加速的智能家居模拟环境，并基于Matter协议，提供高保真、可部署的测试平台。
- 实验表明，即使是GPT-4.1在隐式意图推断和时间调度方面仍有不足，推理模型虽性能更优但推理时间过长。
📝 摘要（中文）
大型语言模型(LLM)代理在多步骤、工具增强型任务中表现出色。然而，智能家居引入了独特的挑战，要求代理处理潜在的用户意图、时间依赖性、设备约束、调度等。开发具有此类能力的智能家居代理的主要瓶颈包括：缺乏一个现实的模拟环境，代理可以在其中与设备交互并观察结果；以及缺乏一个具有挑战性的基准来评估它们。为了解决这个问题，我们引入了$ extbf{SimuHome}$，这是一个时间加速的家庭环境，可以模拟智能设备，支持API调用，并反映环境变量的变化。通过在Matter协议（智能家居通信的全球行业标准）上构建模拟器，SimuHome提供了一个高保真环境，并且在SimuHome中验证的代理可以以最小的适应性部署在真正的Matter兼容设备上。我们提供了一个具有挑战性的基准，包含600个episode，涵盖12种需要上述能力的用户查询类型。我们对统一ReAct框架下的16个代理的评估揭示了不同模型之间的独特能力和局限性。参数小于7B的模型在所有查询类型中的性能都微不足道。即使是性能最佳的标准模型GPT-4.1，也在隐式意图推断、状态验证，特别是时间调度方面表现不佳。虽然诸如GPT-5.1之类的推理模型在每种查询类型上始终优于标准模型，但它们需要的平均推理时间是标准模型的三倍以上，这对于实时智能家居应用来说可能是令人望而却步的。这突出了任务性能和实际应用之间的关键权衡。
🔬 方法详解
问题定义：现有智能家居LLM代理的开发面临两大挑战：一是缺乏现实的模拟环境，难以进行有效的交互和观察；二是缺乏具有挑战性的基准测试，难以全面评估代理的能力。现有方法难以处理智能家居场景中固有的时间依赖性、设备约束、隐式用户意图等复杂因素，导致代理的性能受限。
核心思路：SimuHome的核心思路是构建一个高保真、时间加速的智能家居模拟环境，并提供一个具有挑战性的基准测试。通过模拟真实设备的行为和环境变化，SimuHome能够为LLM代理提供一个可控、可重复的测试平台。同时，基于Matter协议的构建保证了SimuHome的实用性，使得在模拟环境中验证的代理能够更容易地部署到真实设备上。
技术框架：SimuHome的整体框架包括以下几个主要模块：1) 智能设备模拟器：模拟各种智能家居设备的行为，包括开关、传感器等。2) 环境模拟器：模拟环境变化，如温度、光照等。3) API接口：提供与智能设备交互的API接口。4) 时间加速器：加速模拟时间，以便快速进行测试。5) 基准测试：包含600个episode，涵盖12种用户查询类型，用于评估代理的性能。
关键创新：SimuHome的关键创新在于：1) 构建了一个高保真、时间加速的智能家居模拟环境，能够真实地反映智能家居场景的复杂性。2) 基于Matter协议构建，保证了SimuHome的实用性，使得在模拟环境中验证的代理能够更容易地部署到真实设备上。3) 提供了一个具有挑战性的基准测试，能够全面评估代理在智能家居场景中的能力。
关键设计：SimuHome的关键设计包括：1) 智能设备模拟器的设计，需要尽可能真实地模拟设备的行为，包括设备的状态、API接口等。2) 环境模拟器的设计，需要模拟各种环境变化，如温度、光照等，并考虑这些变化对设备行为的影响。3) 时间加速器的设计，需要在保证模拟精度的前提下，尽可能地加速模拟时间。4) 基准测试的设计，需要包含各种具有挑战性的用户查询类型，并提供清晰的评估指标。
📊 实验亮点
实验结果表明，参数小于7B的模型在所有查询类型中的性能都非常差。即使是GPT-4.1，在隐式意图推断、状态验证和时间调度方面也存在困难。推理模型（如GPT-5.1）在所有查询类型上都优于标准模型，但推理时间是标准模型的三倍以上。这表明在智能家居应用中，需要在任务性能和推理时间之间进行权衡。
🎯 应用场景
SimuHome为智能家居LLM代理的开发和评估提供了一个强大的平台。它可以应用于各种智能家居场景，例如自动化控制、能源管理、安全监控等。通过SimuHome，研究人员可以更方便地开发和评估智能家居代理，从而提高智能家居系统的智能化水平，提升用户体验。未来，SimuHome可以扩展到更多类型的智能设备和场景，并与其他AI技术相结合，例如强化学习、联邦学习等，以实现更高级的智能家居功能。
📄 摘要（原文）
Large Language Model (LLM) agents excel at multi-step, tool-augmented tasks. However, smart homes introduce distinct challenges, requiring agents to handle latent user intents, temporal dependencies, device constraints, scheduling, and more. The main bottlenecks for developing smart home agents with such capabilities include the lack of a realistic simulation environment where agents can interact with devices and observe the results, as well as a challenging benchmark to evaluate them. To address this, we introduce $\textbf{SimuHome}$, a time-accelerated home environment that simulates smart devices, supports API calls, and reflects changes in environmental variables. By building the simulator on the Matter protocol, the global industry standard for smart home communication, SimuHome provides a high-fidelity environment, and agents validated in SimuHome can be deployed on real Matter-compliant devices with minimal adaptation. We provide a challenging benchmark of 600 episodes across twelve user query types that require the aforementioned capabilities. Our evaluation of 16 agents under a unified ReAct framework reveals distinct capabilities and limitations across models. Models under 7B parameters exhibited negligible performance across all query types. Even GPT-4.1, the best-performing standard model, struggled with implicit intent inference, state verification, and particularly temporal scheduling. While reasoning models such as GPT-5.1 consistently outperformed standard models on every query type, they required over three times the average inference time, which can be prohibitive for real-time smart home applications. This highlights a critical trade-off between task performance and real-world practicality.