Leveraging Large Language Models for Explainable Activity Recognition in Smart Homes: A Critical Evaluation

📄 arXiv: 2503.16622v2 📥 PDF

作者: Michele Fiori, Gabriele Civitarese, Priyankar Choudhary, Claudio Bettini

分类: cs.CL

发布日期: 2025-03-20 (更新: 2025-08-21)

💡 一句话要点

利用大语言模型提升智能家居中活动识别的可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 可解释人工智能 智能家居 活动识别 零样本学习

📋 核心要点

  1. 现有智能家居活动识别方法依赖简单规则生成解释，缺乏灵活性和可扩展性。
  2. 探索利用大语言模型(LLM)增强活动识别解释生成，提升用户信任和理解。
  3. 评估LLM在零样本活动识别和自动化解释生成方面的潜力，并分析其优缺点。

📝 摘要（中文）

可解释人工智能(XAI)旨在揭示机器学习模型的内在推理过程。在物联网系统中，XAI提高了处理来自多个异构设备传感器数据的模型的透明度，确保最终用户理解并信任其输出。在众多应用中，XAI也被应用于智能家居中基于传感器的日常生活活动(ADL)识别。现有方法强调哪些传感器事件对于每个预测的活动最重要，并使用简单的规则将这些事件转换为非专业用户的自然语言解释。然而，这些方法产生的解释缺乏自然语言的灵活性且不具备可扩展性。随着大型语言模型(LLM)的兴起，考虑到它们对人类活动的已知知识，探索它们是否可以增强解释生成是值得的。本文研究了结合XAI和LLM进行基于传感器的ADL识别的潜在方法。我们评估LLM是否可以被用作：a)可解释的零样本ADL识别模型，避免了昂贵的标记数据收集，以及b)在训练数据可用且目标是更高识别率时，自动化现有数据驱动XAI方法的解释生成。我们的批判性评估提供了关于使用LLM进行可解释ADL识别的益处和挑战的见解。

🔬 方法详解

问题定义：现有基于传感器数据的智能家居活动识别方法，在提供可解释性方面存在局限。它们通常依赖于简单的规则将传感器事件转换为自然语言解释，这些解释缺乏灵活性，难以适应复杂场景，并且难以扩展到新的活动或传感器类型。此外，这些方法需要大量标注数据进行训练，成本高昂。

核心思路：本文的核心思路是利用大语言模型(LLM)的强大自然语言生成能力和对人类活动的理解，来改进智能家居活动识别的可解释性。通过将LLM与现有的XAI方法相结合，或者直接使用LLM进行零样本活动识别，可以生成更自然、更灵活、更易于理解的解释。

技术框架：论文研究了两种主要的技术框架：1) 将LLM作为零样本活动识别模型：直接利用LLM的知识进行活动识别，无需训练数据。输入是传感器数据，输出是识别的活动和相应的解释。2) 利用LLM自动化解释生成：首先使用传统的XAI方法（例如，基于规则的方法）识别重要的传感器事件，然后使用LLM将这些事件转换为自然语言解释。

关键创新：该论文的关键创新在于探索了将大语言模型(LLM)应用于智能家居活动识别可解释性问题。与传统方法相比，LLM能够生成更自然、更灵活的解释，并且具有更强的泛化能力。此外，利用LLM进行零样本活动识别可以避免昂贵的标注数据收集。

关键设计：论文中没有明确给出关键参数设置或网络结构等技术细节，更多的是对LLM在不同场景下应用可能性的探索和评估。关键在于如何有效地将传感器数据输入LLM，以及如何设计提示(prompt)来引导LLM生成高质量的解释。具体实现细节可能取决于所使用的LLM和具体的应用场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文对LLM在智能家居活动识别中的应用进行了初步探索，评估了LLM作为零样本模型和自动化解释生成器的潜力。研究结果表明，LLM在某些情况下可以生成合理的解释，但同时也存在一些挑战，例如对噪声数据的敏感性和解释的准确性。未来的研究需要进一步优化LLM的应用方法，并解决这些挑战。

🎯 应用场景

该研究成果可应用于智能家居、养老监护、医疗健康等领域。通过提供可解释的活动识别结果，可以帮助用户更好地理解和信任智能家居系统，提高生活质量。例如，在养老监护中，系统可以识别老年人的日常活动，并在出现异常情况时发出警报，同时提供清晰的解释，方便家属或医护人员了解情况。

📄 摘要（原文）

Explainable Artificial Intelligence (XAI) aims to uncover the inner reasoning of machine learning models. In IoT systems, XAI improves the transparency of models processing sensor data from multiple heterogeneous devices, ensuring end-users understand and trust their outputs. Among the many applications, XAI has also been applied to sensor-based Activities of Daily Living (ADLs) recognition in smart homes. Existing approaches highlight which sensor events are most important for each predicted activity, using simple rules to convert these events into natural language explanations for non-expert users. However, these methods produce rigid explanations lacking natural language flexibility and are not scalable. With the recent rise of Large Language Models (LLMs), it is worth exploring whether they can enhance explanation generation, considering their proven knowledge of human activities. This paper investigates potential approaches to combine XAI and LLMs for sensor-based ADL recognition. We evaluate if LLMs can be used: a) as explainable zero-shot ADL recognition models, avoiding costly labeled data collection, and b) to automate the generation of explanations for existing data-driven XAI approaches when training data is available and the goal is higher recognition rates. Our critical evaluation provides insights into the benefits and challenges of using LLMs for explainable ADL recognition.