Measuring Physical-World Privacy Awareness of Large Language Models: An Evaluation Benchmark

📄 arXiv: 2510.02356v2 📥 PDF

作者: Xinjie Shen, Mufei Li, Pan Li

分类: cs.CR, cs.AI

发布日期: 2025-09-27 (更新: 2025-10-13)

🔗 代码/项目: GITHUB

💡 一句话要点

提出EAPrivacy基准，评估具身智能体在物理世界中的隐私意识

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身智能体 隐私保护 大型语言模型 物理世界 评估基准

📋 核心要点

  1. 现有评估方法主要集中于自然语言场景，缺乏对具身智能体在物理世界中隐私意识的有效评估。
  2. EAPrivacy通过程序生成多层级物理世界场景，全面评估智能体在隐私保护方面的能力，包括处理敏感对象、适应环境变化等。
  3. 实验结果表明，现有LLM在物理世界隐私保护方面存在显著不足，尤其是在环境变化和社会规范冲突场景下。

📝 摘要（中文）

大型语言模型（LLMs）在具身智能体中的部署，迫切需要衡量其在物理世界中的隐私意识。然而，现有的评估方法仅限于基于自然语言的场景。为了弥补这一差距，我们引入了EAPrivacy，这是一个综合评估基准，旨在量化LLM驱动的智能体在物理世界中的隐私意识。EAPrivacy利用程序生成的跨四个层级的场景，测试智能体处理敏感对象、适应变化环境、平衡任务执行与隐私约束以及解决与社会规范冲突的能力。我们的测量结果揭示了当前模型的一个关键缺陷。性能最佳的模型Gemini 2.5 Pro在涉及变化物理环境的场景中仅达到59%的准确率。此外，当任务伴随隐私请求时，模型在高达86%的情况下优先完成任务而非遵守约束。在隐私与关键社会规范相冲突的高风险情况下，GPT-4o和Claude-3.5-haiku等领先模型在超过15%的时间里无视社会规范。这些由我们的基准证明的发现，强调了LLM在物理层面上的隐私方面存在根本性的错位，并确立了对更强大、更具物理意识的对齐的需求。代码和数据集将在https://github.com/Graph-COM/EAPrivacy上提供。

🔬 方法详解

问题定义：论文旨在解决大型语言模型驱动的具身智能体在物理世界中隐私意识不足的问题。现有评估方法主要集中于自然语言场景，无法有效评估智能体在实际物理环境中的隐私保护能力。现有方法的痛点在于缺乏一个综合性的、可控的、可扩展的物理世界隐私评估基准。

核心思路：论文的核心思路是构建一个程序生成的物理世界环境，通过设计不同层级的任务场景，系统性地评估智能体在处理敏感对象、适应环境变化、平衡任务执行与隐私约束以及解决与社会规范冲突等方面的能力。这种方法能够更全面、更细致地量化智能体的物理世界隐私意识。

技术框架：EAPrivacy基准包含四个主要层级： 1. 敏感对象处理：测试智能体识别和避免与敏感对象交互的能力。 2. 环境适应：测试智能体在环境变化时维持隐私保护的能力。 3. 任务与隐私平衡：测试智能体在任务执行和隐私约束之间进行权衡的能力。 4. 社会规范冲突解决：测试智能体在隐私保护与社会规范冲突时做出合理决策的能力。 每个层级都包含多个程序生成的场景，用于评估智能体的隐私意识。

关键创新：EAPrivacy的关键创新在于其程序生成物理世界场景的能力，这使得基准具有高度的可控性和可扩展性。与以往基于自然语言的评估方法相比，EAPrivacy能够更真实地模拟智能体在实际物理环境中面临的隐私挑战。此外，EAPrivacy还考虑了隐私保护与社会规范之间的冲突，这在以往的研究中较少被关注。

关键设计：EAPrivacy使用程序生成的方法创建了大量的物理世界场景，每个场景都包含不同的对象、环境和任务。场景的设计考虑了多种隐私敏感因素，例如敏感对象的位置、环境的变化以及任务的优先级。评估指标包括智能体在每个场景中的隐私保护成功率、任务完成率以及对社会规范的遵守程度。具体的参数设置和损失函数（如果使用强化学习训练智能体）则取决于具体的智能体模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当前领先的LLM在EAPrivacy基准上的表现不佳。例如，Gemini 2.5 Pro在涉及变化物理环境的场景中仅达到59%的准确率，而GPT-4o和Claude-3.5-haiku等模型在隐私与社会规范冲突时，有超过15%的概率无视社会规范。这些结果突显了现有LLM在物理世界隐私保护方面的不足，并强调了EAPrivacy基准的重要性。

🎯 应用场景

该研究成果可应用于开发更安全、更可靠的具身智能体，例如家庭机器人、服务机器人和自动驾驶汽车。通过使用EAPrivacy基准评估和改进智能体的隐私意识，可以减少隐私泄露的风险，提高用户对智能体的信任度，并促进智能体在现实世界中的广泛应用。此外，该研究也为未来的隐私保护技术研究提供了新的方向。

📄 摘要（原文）

The deployment of Large Language Models (LLMs) in embodied agents creates an urgent need to measure their privacy awareness in the physical world. Existing evaluation methods, however, are confined to natural language based scenarios. To bridge this gap, we introduce EAPrivacy, a comprehensive evaluation benchmark designed to quantify the physical-world privacy awareness of LLM-powered agents. EAPrivacy utilizes procedurally generated scenarios across four tiers to test an agent's ability to handle sensitive objects, adapt to changing environments, balance task execution with privacy constraints, and resolve conflicts with social norms. Our measurements reveal a critical deficit in current models. The top-performing model, Gemini 2.5 Pro, achieved only 59\% accuracy in scenarios involving changing physical environments. Furthermore, when a task was accompanied by a privacy request, models prioritized completion over the constraint in up to 86\% of cases. In high-stakes situations pitting privacy against critical social norms, leading models like GPT-4o and Claude-3.5-haiku disregarded the social norm over 15\% of the time. These findings, demonstrated by our benchmark, underscore a fundamental misalignment in LLMs regarding physically grounded privacy and establish the need for more robust, physically-aware alignment. Codes and datasets will be available at https://github.com/Graph-COM/EAPrivacy.