SimuHome: A Temporal- and Environment-Aware Benchmark for Smart Home LLM Agents
作者: Gyuhyeon Seo, Jungwoo Yang, Junseong Pyo, Nalim Kim, Jonggeun Lee, Yohan Jo
分类: cs.CL, cs.AI
发布日期: 2025-09-29 (更新: 2025-12-08)
备注: 10 pages
💡 一句话要点
SimuHome：面向智能家居LLM代理的时间与环境感知基准测试
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 智能家居 LLM代理 模拟环境 基准测试 Matter协议 时间依赖 环境感知
📋 核心要点
- 现有智能家居LLM代理缺乏在真实模拟环境中交互和评估的有效手段，难以应对时间依赖、设备约束等复杂挑战。
- SimuHome通过构建时间加速的智能家居模拟环境，并基于Matter协议，提供高保真模拟和API支持，解决了上述问题。
- 实验表明，即使是GPT-4.1在隐式意图和时间调度方面仍有不足，而更强的推理模型虽然性能更优，但推理时间过长。
📝 摘要（中文）
大型语言模型(LLM)代理在多步骤、工具增强型任务中表现出色。然而，智能家居引入了独特的挑战，要求代理处理潜在的用户意图、时间依赖性、设备约束、调度等。开发具有此类能力的智能家居代理的主要瓶颈包括：缺乏一个现实的模拟环境，代理可以在其中与设备交互并观察结果；以及缺乏一个具有挑战性的基准来评估它们。为了解决这个问题，我们引入了$ extbf{SimuHome}$，这是一个时间加速的家庭环境，可以模拟智能设备，支持API调用，并反映环境变量的变化。通过在Matter协议（智能家居通信的全球行业标准）上构建模拟器，SimuHome提供了一个高保真环境，并且在SimuHome中验证的代理可以以最小的适应性部署在真正的Matter兼容设备上。我们提供了一个具有挑战性的基准，包含600个episode，涵盖12种需要上述能力的用户查询类型。我们对统一ReAct框架下的16个代理的评估揭示了不同模型之间的独特能力和局限性。参数小于7B的模型在所有查询类型中表现出可忽略不计的性能。即使是性能最佳的标准模型GPT-4.1，也在隐式意图推断、状态验证，特别是时间调度方面存在困难。虽然诸如GPT-5.1之类的推理模型在每种查询类型上始终优于标准模型，但它们需要超过三倍的平均推理时间，这对于实时智能家居应用来说可能是令人望而却步的。这突出了任务性能和实际应用之间的关键权衡。
🔬 方法详解
问题定义：现有智能家居LLM代理的开发面临两大痛点：一是缺乏一个能够真实反映智能设备交互和环境变化的模拟环境；二是缺乏一个能够全面评估代理在处理复杂用户意图、时间依赖和设备约束等方面能力的基准测试。现有方法难以在真实环境中进行充分的实验和评估，导致智能家居代理的开发效率低下，且难以保证实际应用效果。
核心思路：SimuHome的核心思路是构建一个高保真、可交互的智能家居模拟环境，并提供一个具有挑战性的基准测试，从而为智能家居LLM代理的开发和评估提供有效的平台。通过模拟真实设备的行为和环境变化，SimuHome能够帮助开发者更好地理解智能家居场景的复杂性，并开发出更具鲁棒性和实用性的代理。
技术框架：SimuHome的技术框架主要包括两个部分：一是智能家居模拟环境，二是基准测试。智能家居模拟环境基于Matter协议构建，能够模拟各种智能设备的行为，并支持API调用。该环境还能够模拟环境变化，如光照、温度等。基准测试包含600个episode，涵盖12种用户查询类型，这些查询类型需要代理具备处理隐式意图、时间依赖、设备约束等能力。
关键创新：SimuHome的关键创新在于其高保真度和可交互性。通过基于Matter协议构建模拟环境，SimuHome能够模拟真实智能设备的行为，并支持API调用，从而提供更真实的交互体验。此外，SimuHome还能够模拟环境变化，从而更好地反映智能家居场景的复杂性。
关键设计：SimuHome的关键设计包括：1) 基于Matter协议的设备模拟，保证了与真实设备的兼容性；2) 时间加速机制，允许在短时间内模拟长时间的智能家居交互；3) 包含多种复杂用户查询类型的基准测试，全面评估代理的能力；4) 统一的ReAct框架，方便对不同LLM代理进行公平比较。
🖼️ 关键图片
📊 实验亮点
实验结果表明，参数小于7B的模型在SimuHome基准测试中表现不佳，表明小模型难以应对智能家居场景的复杂性。GPT-4.1虽然表现最佳，但在隐式意图和时间调度方面仍有不足。推理模型如GPT-5.1虽然性能更优，但推理时间过长，难以满足实时性要求。这些结果突出了智能家居LLM代理开发中性能和效率之间的权衡。
🎯 应用场景
SimuHome为智能家居LLM代理的开发和评估提供了一个强大的平台。它可以应用于智能家居控制、自动化、安全监控等领域，帮助开发者快速迭代和优化代理，提升用户体验。未来，SimuHome可以扩展到更复杂的智能环境，如智慧城市、智能工厂等，推动人工智能在更多领域的应用。
📄 摘要（原文）
Large Language Model (LLM) agents excel at multi-step, tool-augmented tasks. However, smart homes introduce distinct challenges, requiring agents to handle latent user intents, temporal dependencies, device constraints, scheduling, and more. The main bottlenecks for developing smart home agents with such capabilities include the lack of a realistic simulation environment where agents can interact with devices and observe the results, as well as a challenging benchmark to evaluate them. To address this, we introduce $\textbf{SimuHome}$, a time-accelerated home environment that simulates smart devices, supports API calls, and reflects changes in environmental variables. By building the simulator on the Matter protocol, the global industry standard for smart home communication, SimuHome provides a high-fidelity environment, and agents validated in SimuHome can be deployed on real Matter-compliant devices with minimal adaptation. We provide a challenging benchmark of 600 episodes across twelve user query types that require the aforementioned capabilities. Our evaluation of 16 agents under a unified ReAct framework reveals distinct capabilities and limitations across models. Models under 7B parameters exhibited negligible performance across all query types. Even GPT-4.1, the best-performing standard model, struggled with implicit intent inference, state verification, and particularly temporal scheduling. While reasoning models such as GPT-5.1 consistently outperformed standard models on every query type, they required over three times the average inference time, which can be prohibitive for real-time smart home applications. This highlights a critical trade-off between task performance and real-world practicality.