Toward a Human-Centered Evaluation Framework for Trustworthy LLM-Powered GUI Agents

📄 arXiv: 2504.17934v2 📥 PDF

作者: Chaoran Chen, Zhiping Zhang, Ibrahim Khalilov, Bingcan Guo, Simret A Gebreegziabher, Yanfang Ye, Ziang Xiao, Yaxing Yao, Tianshi Li, Toby Jia-Jun Li

分类: cs.HC, cs.CL, cs.CR

发布日期: 2025-04-24 (更新: 2025-06-05)

💡 一句话要点

提出面向LLM驱动GUI代理的人本评估框架，关注隐私与安全风险

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM驱动GUI代理 人本评估框架 隐私风险 安全风险 用户知情同意 风险评估 GUI自动化

📋 核心要点

  1. 现有GUI代理评估主要关注性能，忽略了其处理敏感数据带来的隐私和安全风险。
  2. 论文倡导以人为中心的评估框架，强调风险评估、用户知情同意和隐私安全嵌入式设计。
  3. 该框架旨在弥补现有评估体系的不足，提升LLM驱动GUI代理的整体可信度。

📝 摘要（中文）

大型语言模型（LLM）的兴起彻底改变了通过LLM驱动的图形用户界面（GUI）代理实现的GUI自动化。然而，它们在有限的人工监督下处理敏感数据的能力带来了重大的隐私和安全风险。本文确定了GUI代理的三个关键风险，并研究了它们与传统GUI自动化和通用自主代理的不同之处。尽管存在这些风险，但现有的评估主要集中在性能上，而对隐私和安全评估的探索不足。我们回顾了GUI和通用LLM代理的现有评估指标，并概述了将人工评估者纳入GUI代理评估的五个关键挑战。为了解决这些差距，我们提倡一种以人为中心的评估框架，该框架结合了风险评估，通过上下文同意提高用户意识，并将隐私和安全考虑因素嵌入到GUI代理的设计和评估中。

🔬 方法详解

问题定义：当前LLM驱动的GUI代理在自动化GUI操作方面表现出色，但它们处理敏感信息的能力带来了新的隐私和安全风险。现有的评估方法主要关注性能指标，如任务完成率和效率，而忽略了对潜在风险的评估，例如数据泄露、未授权访问和恶意利用。传统GUI自动化和通用自主代理的评估方法无法直接应用于LLM驱动的GUI代理，因为后者具有更强的自主性和数据处理能力，风险更高。

核心思路：论文的核心思路是建立一个以人为中心的评估框架，将风险评估、用户意识和隐私安全考虑因素融入到GUI代理的设计和评估过程中。该框架强调在评估过程中引入人工评估者，以识别和评估潜在的隐私和安全风险。同时，通过上下文同意机制，提高用户对数据处理过程的知情权，从而增强用户对GUI代理的信任。

技术框架：该框架包含以下几个主要模块：1) 风险评估模块：识别GUI代理在不同场景下可能面临的隐私和安全风险。2) 用户意识增强模块：通过上下文同意机制，向用户提供关于数据处理过程的清晰信息。3) 隐私安全嵌入式设计模块：将隐私和安全考虑因素融入到GUI代理的设计过程中，例如数据加密、访问控制和审计日志。4) 人工评估模块：引入人工评估者，对GUI代理的性能、隐私和安全进行综合评估。

关键创新：该论文的关键创新在于提出了一个以人为中心的评估框架，该框架不仅关注GUI代理的性能，还强调对隐私和安全风险的评估。与现有的评估方法相比，该框架更加全面和实用，能够更好地评估LLM驱动的GUI代理的可信度。此外，该框架还引入了上下文同意机制，提高了用户对数据处理过程的知情权。

关键设计：论文中提出的框架是一个概念性的框架，没有涉及具体的参数设置、损失函数或网络结构。然而，在实际应用中，可以根据具体的GUI代理和应用场景，选择合适的风险评估方法、用户界面设计和隐私保护技术。例如，可以使用差分隐私技术来保护用户数据的隐私，使用访问控制机制来限制对敏感数据的访问，并使用审计日志来记录GUI代理的操作行为。

🖼️ 关键图片

fig_0

📊 实验亮点

该论文是一篇立场文件，主要贡献在于提出了一个以人为中心的评估框架，并没有提供具体的实验结果。然而，该框架为未来研究提供了一个有价值的方向，强调了在评估LLM驱动的GUI代理时，除了性能之外，还需要关注隐私和安全风险。未来的研究可以基于该框架，开发具体的评估方法和工具，并进行实验验证。

🎯 应用场景

该研究成果可应用于各种需要GUI自动化的场景，例如软件测试、客户服务和数据录入。通过该框架，可以评估和改进LLM驱动的GUI代理的隐私和安全性，从而提高用户信任度，促进其更广泛的应用。未来，该框架可以扩展到其他类型的自主代理，例如机器人和虚拟助手。

📄 摘要（原文）

The rise of Large Language Models (LLMs) has revolutionized Graphical User Interface (GUI) automation through LLM-powered GUI agents, yet their ability to process sensitive data with limited human oversight raises significant privacy and security risks. This position paper identifies three key risks of GUI agents and examines how they differ from traditional GUI automation and general autonomous agents. Despite these risks, existing evaluations focus primarily on performance, leaving privacy and security assessments largely unexplored. We review current evaluation metrics for both GUI and general LLM agents and outline five key challenges in integrating human evaluators for GUI agent assessments. To address these gaps, we advocate for a human-centered evaluation framework that incorporates risk assessments, enhances user awareness through in-context consent, and embeds privacy and security considerations into GUI agent design and evaluation.