Less or More: Towards Glanceable Explanations for LLM Recommendations Using Ultra-Small Devices
作者: Xinru Wang, Mengjie Yu, Hannah Nguyen, Michael Iuzzolino, Tianyi Wang, Peiqi Tang, Natasha Lynova, Co Tran, Ting Zhang, Naveen Sendhilnathan, Hrvoje Benko, Haijun Xia, Tanya Jonker
分类: cs.HC, cs.AI
发布日期: 2025-02-26
💡 一句话要点
针对超小型设备，提出基于结构化和时序自适应的LLM推荐可解释性方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可解释AI 大型语言模型 超小型设备 用户体验 智能助手
📋 核心要点
- LLM生成的解释文本冗长，难以在智能手表等超小型设备上提供一目了然的解释，影响用户体验。
- 通过在提示过程中对LLM的解释文本进行空间结构化，并基于置信度呈现时间自适应的解释，提升可解释性。
- 用户研究表明，结构化解释能减少用户行动时间和认知负荷，但用户满意度低于非结构化解释。
📝 摘要（中文）
大型语言模型(LLM)在推荐日常行为方面展现出巨大潜力，可作为个人AI助手。可解释AI(XAI)技术越来越多地被用于帮助用户理解推荐的原因。然而，个人AI助手通常位于智能手表等屏幕空间有限的超小型设备上。LLM生成的解释文本冗长，难以在这些设备上提供一目了然的解释。为了解决这个问题，我们探索了1)在提示过程中使用定义的上下文组件对LLM的解释文本进行空间结构化，以及2)基于置信度向用户呈现时间自适应的解释。我们进行了一项用户研究，以了解这些方法如何影响用户在超小型设备上与LLM推荐和解释交互时的体验。结果表明，结构化解释减少了用户采取行动的时间和阅读解释时的认知负荷。始终在线的结构化解释提高了用户对AI推荐的接受度。然而，由于缺乏足够的、可读的细节，用户对结构化解释的满意度低于非结构化解释。此外，与始终在线的结构化解释相比，自适应地呈现结构化解释在改善用户对AI的看法方面效果较差。结合用户的访谈反馈，结果为个性化在超小型设备上显示的LLM解释的内容和时机提供了设计启示。
🔬 方法详解
问题定义：论文旨在解决在超小型设备（如智能手表）上，由于屏幕空间有限，如何有效地呈现大型语言模型（LLM）生成的冗长解释，从而提升用户对AI推荐的理解和信任的问题。现有方法直接将LLM生成的文本展示在小屏幕上，导致信息过载，用户难以快速理解推荐的原因，降低了用户体验。
核心思路：论文的核心思路是通过两种方式优化LLM解释的呈现：一是空间结构化，即在LLM生成解释时，通过prompt工程预先定义上下文组件，使解释更紧凑；二是时间自适应，即根据LLM的置信度，动态地调整解释的呈现方式，例如，高置信度时提供更简洁的解释，低置信度时提供更详细的解释。这样设计的目的是为了在有限的屏幕空间内，提供更易于理解和接受的解释。
技术框架：整体框架包含以下几个主要阶段：1) LLM推荐生成：LLM生成推荐结果；2) 解释生成：通过prompt工程，LLM生成结构化的解释文本，包含预定义的上下文组件；3) 解释呈现：根据LLM的置信度，选择合适的解释呈现方式，可以是始终在线的结构化解释，也可以是时间自适应的结构化解释；4) 用户交互与反馈：用户与AI助手交互，并提供反馈，用于评估不同解释呈现方式的效果。
关键创新：论文的关键创新在于将空间结构化和时间自适应两种策略结合，用于优化LLM在超小型设备上的可解释性呈现。与现有方法相比，该方法能够更好地适应小屏幕的限制，提供更简洁、易懂的解释，从而提升用户体验。
关键设计：在空间结构化方面，论文通过prompt工程定义了不同的上下文组件，例如“原因”、“证据”、“行动建议”等，引导LLM生成包含这些组件的解释文本。在时间自适应方面，论文根据LLM的置信度，设定了不同的阈值，当置信度高于阈值时，只呈现简洁的解释，当置信度低于阈值时，呈现更详细的解释。具体的阈值设定和解释呈现方式的选择，需要根据实际应用场景进行调整。
🖼️ 关键图片
📊 实验亮点
用户研究表明，结构化解释能显著减少用户采取行动的时间和认知负荷。始终在线的结构化解释提高了用户对AI推荐的接受度。但用户对结构化解释的满意度低于非结构化解释，表明需要在简洁性和信息量之间进行权衡。时间自适应的结构化解释在改善用户对AI的看法方面效果不如始终在线的结构化解释。
🎯 应用场景
该研究成果可应用于智能手表、智能眼镜等超小型设备上的个人AI助手，帮助用户更好地理解和信任AI推荐。例如，在健康管理应用中，AI可以推荐运动计划，并提供结构化的解释，说明推荐的原因和依据。这有助于提高用户对AI的接受度，并促进用户积极参与健康管理。
📄 摘要（原文）
Large Language Models (LLMs) have shown remarkable potential in recommending everyday actions as personal AI assistants, while Explainable AI (XAI) techniques are being increasingly utilized to help users understand why a recommendation is given. Personal AI assistants today are often located on ultra-small devices such as smartwatches, which have limited screen space. The verbosity of LLM-generated explanations, however, makes it challenging to deliver glanceable LLM explanations on such ultra-small devices. To address this, we explored 1) spatially structuring an LLM's explanation text using defined contextual components during prompting and 2) presenting temporally adaptive explanations to users based on confidence levels. We conducted a user study to understand how these approaches impacted user experiences when interacting with LLM recommendations and explanations on ultra-small devices. The results showed that structured explanations reduced users' time to action and cognitive load when reading an explanation. Always-on structured explanations increased users' acceptance of AI recommendations. However, users were less satisfied with structured explanations compared to unstructured ones due to their lack of sufficient, readable details. Additionally, adaptively presenting structured explanations was less effective at improving user perceptions of the AI compared to the always-on structured explanations. Together with users' interview feedback, the results led to design implications to be mindful of when personalizing the content and timing of LLM explanations that are displayed on ultra-small devices.