User Privacy and Large Language Models: An Analysis of Frontier Developers' Privacy Policies
作者: Jennifer King, Kevin Klyman, Emily Capstick, Tiffany Saade, Victoria Hsieh
分类: cs.CY, cs.AI, cs.CR
发布日期: 2025-09-05
备注: See additional files for appendices
💡 一句话要点
分析前沿AI开发商隐私政策，揭示LLM用户数据被用于模型训练的现状与风险。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 用户隐私 隐私政策 数据安全 数据收集 模型训练 AI伦理
📋 核心要点
- 大型语言模型开发者利用用户聊天数据进行模型训练，但用户对此往往缺乏知情和同意，存在隐私风险。
- 论文通过分析六家前沿AI开发商的隐私政策，揭示了数据收集和使用实践，并识别了潜在的隐私问题。
- 研究发现开发者普遍使用用户数据训练模型，可能涉及敏感信息和儿童数据，且隐私政策透明度不足。
📝 摘要（中文）
当前，数百万用户通过聊天机器人与大型语言模型（LLM）交互。模型开发者急于获取高质量训练数据，以提升模型能力并赢得市场份额。本文分析了六家美国前沿AI开发商的隐私政策，旨在了解他们如何利用用户聊天数据训练模型。主要依据《加州消费者隐私法案》，我们开发了一种新的定性编码模式，并将其应用于每家开发商的相关隐私政策，以比较六家公司的数据收集和使用实践。研究发现，所有六家开发商似乎默认使用用户聊天数据来训练和改进模型，并且一些公司无限期地保留这些数据。开发者可能会收集和训练聊天中披露的个人信息，包括生物识别和健康数据等敏感信息，以及用户上传的文件。我们考察的六家公司中有四家似乎将儿童的聊天数据以及来自其他产品的客户数据用于模型训练。总体而言，开发商的隐私政策通常缺乏关于其行为的重要信息，突显了提高透明度和问责制的必要性。我们讨论了用户对其聊天数据用于模型训练缺乏同意、无限期聊天数据保留导致的数据安全问题以及使用儿童聊天数据进行训练的影响。最后，我们为政策制定者和开发者提出了建议，以应对LLM驱动的聊天机器人带来的数据隐私挑战。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLM）开发者如何使用用户聊天数据进行模型训练，以及由此产生的用户隐私保护问题。现有方法的痛点在于，用户通常不了解自己的数据如何被使用，开发者隐私政策的透明度不足，且缺乏有效的监管和问责机制。
核心思路：论文的核心思路是通过对前沿AI开发商的隐私政策进行系统性的分析和比较，揭示数据收集、使用和保留的实际做法，从而评估用户隐私面临的风险。通过定性编码的方式，将复杂的隐私政策转化为可比较的数据，为后续的分析和政策建议提供依据。
技术框架：论文的技术框架主要包括以下几个阶段： 1. 选择研究对象：选取六家美国前沿AI开发商作为研究对象。 2. 数据收集：收集这些开发商的隐私政策。 3. 编码模式设计：基于《加州消费者隐私法案》设计定性编码模式，用于提取隐私政策中的关键信息。 4. 数据编码：应用编码模式对隐私政策进行编码，提取相关数据。 5. 数据分析：对编码后的数据进行分析和比较，识别数据收集和使用实践中的共性和差异。 6. 问题识别与建议：基于分析结果，识别潜在的隐私问题，并为政策制定者和开发者提出建议。
关键创新：论文的关键创新在于： 1. 定性编码模式：开发了一种新的定性编码模式，用于系统性地分析隐私政策，这为后续研究提供了一种可复用的方法。 2. 实证分析：通过对实际隐私政策的分析，揭示了LLM开发者数据使用实践的现状，为相关讨论提供了实证依据。 3. 问题识别与建议：明确指出了用户隐私面临的风险，并为政策制定者和开发者提出了具体的建议，具有实际指导意义。
关键设计：论文的关键设计在于定性编码模式的设计，该模式需要能够准确地提取隐私政策中的关键信息，例如数据收集的类型、使用目的、保留期限等。此外，研究对象（六家前沿AI开发商）的选择也至关重要，需要具有代表性，能够反映行业内的普遍做法。
📊 实验亮点
研究发现，所有六家被调查的LLM开发商默认使用用户聊天数据进行模型训练，部分公司无限期保留数据。四家公司可能使用儿童聊天数据和来自其他产品的客户数据。隐私政策普遍缺乏透明度，未能充分告知用户数据使用情况。这些发现突显了LLM数据隐私保护的紧迫性。
🎯 应用场景
该研究成果可应用于指导政策制定者制定更完善的LLM数据隐私保护法规，促使开发者提升隐私政策的透明度，并为用户提供更清晰的数据使用授权选项。研究结果还有助于提高公众对LLM数据隐私问题的认识，促进负责任的AI开发和应用。
📄 摘要（原文）
Hundreds of millions of people now regularly interact with large language models via chatbots. Model developers are eager to acquire new sources of high-quality training data as they race to improve model capabilities and win market share. This paper analyzes the privacy policies of six U.S. frontier AI developers to understand how they use their users' chats to train models. Drawing primarily on the California Consumer Privacy Act, we develop a novel qualitative coding schema that we apply to each developer's relevant privacy policies to compare data collection and use practices across the six companies. We find that all six developers appear to employ their users' chat data to train and improve their models by default, and that some retain this data indefinitely. Developers may collect and train on personal information disclosed in chats, including sensitive information such as biometric and health data, as well as files uploaded by users. Four of the six companies we examined appear to include children's chat data for model training, as well as customer data from other products. On the whole, developers' privacy policies often lack essential information about their practices, highlighting the need for greater transparency and accountability. We address the implications of users' lack of consent for the use of their chat data for model training, data security issues arising from indefinite chat data retention, and training on children's chat data. We conclude by providing recommendations to policymakers and developers to address the data privacy challenges posed by LLM-powered chatbots.