Secret Use of Large Language Model (LLM)
作者: Zhiping Zhang, Chenxinran Shen, Bingsheng Yao, Dakuo Wang, Tianshi Li
分类: cs.HC, cs.AI
发布日期: 2024-09-28 (更新: 2024-10-19)
备注: 26 pages, 3 figures, and accepted at CSCW 2025
DOI: 10.1145/3711061
💡 一句话要点
揭示LLM秘密使用现象：任务类型影响透明度，提出干预设计思路
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 LLM使用透明度 秘密使用 任务类型 外部评价 AI伦理 用户行为
📋 核心要点
- 现有LLM使用透明度要求面临挑战，用户倾向于秘密使用LLM，阻碍了对AI使用的有效监管。
- 通过调查和实验，研究揭示了任务类型是影响用户秘密使用LLM意愿的关键因素，特别是通过影响外部评价。
- 研究结果为设计干预措施以提高LLM使用的透明度提供了依据，有助于促进负责任的AI应用。
📝 摘要（中文）
大型语言模型（LLM）的进步分散了AI使用透明度的责任。LLM用户被鼓励或要求披露LLM生成内容在各种实际任务中的使用情况。然而，一种新兴现象，即用户对LLM的秘密使用，给确保最终用户遵守透明度要求带来了挑战。本研究采用混合方法，通过探索性调查（报告了125个真实的秘密使用案例）和300名用户的对照实验，调查了LLM秘密使用背后的背景和原因。研究发现，这种秘密行为通常由特定任务触发，超越了用户的人口统计和个性差异。任务类型主要通过影响对LLM使用情况的外部判断，来影响用户进行秘密行为的意图。研究结果为未来设计干预措施以鼓励更透明地披露LLM或其他AI技术的使用提供了重要见解。
🔬 方法详解
问题定义：论文旨在研究用户在何种情况下会秘密使用大型语言模型（LLM），以及背后的原因。现有方法缺乏对用户秘密使用LLM行为的深入理解，无法有效解决LLM使用透明度问题。用户可能出于各种原因（例如害怕被评判、担心影响工作机会等）不公开使用LLM，这使得追踪和评估LLM的影响变得困难。
核心思路：论文的核心思路是通过混合方法，结合探索性调查和对照实验，来揭示用户秘密使用LLM的动机和影响因素。重点关注任务类型对用户行为的影响，并分析其内在机制。通过理解这些因素，可以为设计有效的干预措施提供依据，从而提高LLM使用的透明度。
技术框架：研究采用了以下技术框架： 1. 探索性调查：收集真实世界中用户秘密使用LLM的案例，了解不同任务类型下的秘密使用情况。 2. 对照实验：设计实验任务，控制变量，观察用户在不同任务类型下是否会选择秘密使用LLM。 3. 问卷调查：收集用户的人口统计信息、个性特征以及对LLM使用的看法，分析这些因素与秘密使用行为之间的关系。 4. 统计分析：使用统计方法分析实验数据和问卷数据，确定任务类型对用户秘密使用LLM意愿的影响程度，以及外部评价在其中的中介作用。
关键创新：论文的关键创新在于： 1. 首次系统性地研究了LLM的秘密使用现象，填补了相关研究空白。 2. 揭示了任务类型是影响用户秘密使用LLM意愿的关键因素，并阐明了外部评价在其中的中介作用。 3. 为设计干预措施以提高LLM使用的透明度提供了理论依据和实践指导。
关键设计：在实验设计方面，论文可能考虑了以下关键细节： 1. 任务类型选择：选择具有代表性的、可能引发用户秘密使用LLM的任务类型，例如写作、编程、翻译等。 2. 外部评价设计：设计不同的外部评价情境，例如匿名评价、公开评价等，以观察其对用户行为的影响。 3. 问卷设计：设计合理的问卷题目，收集用户对LLM使用的看法、对外部评价的敏感度等信息。 4. 统计分析方法选择：选择合适的统计分析方法，例如回归分析、中介效应分析等，以准确评估任务类型和外部评价对用户秘密使用LLM意愿的影响。
🖼️ 关键图片
📊 实验亮点
研究通过对125个真实案例的调查和300名用户的实验，发现任务类型显著影响用户秘密使用LLM的意愿。具体来说，用户在面临可能受到外部负面评价的任务时，更倾向于秘密使用LLM。这一发现为设计针对特定任务的干预措施提供了依据，有助于提高LLM使用的透明度。
🎯 应用场景
该研究成果可应用于多个领域，例如：AI伦理监管、教育领域（防止学生作弊）、内容创作平台（确保内容真实性）等。通过设计有效的干预措施，可以提高LLM使用的透明度，促进负责任的AI应用，并减少潜在的负面影响。未来的研究可以进一步探索不同文化背景下LLM秘密使用的差异，以及开发更智能的检测方法来识别LLM生成的内容。
📄 摘要（原文）
The advancements of Large Language Models (LLMs) have decentralized the responsibility for the transparency of AI usage. Specifically, LLM users are now encouraged or required to disclose the use of LLM-generated content for varied types of real-world tasks. However, an emerging phenomenon, users' secret use of LLM, raises challenges in ensuring end users adhere to the transparency requirement. Our study used mixed-methods with an exploratory survey (125 real-world secret use cases reported) and a controlled experiment among 300 users to investigate the contexts and causes behind the secret use of LLMs. We found that such secretive behavior is often triggered by certain tasks, transcending demographic and personality differences among users. Task types were found to affect users' intentions to use secretive behavior, primarily through influencing perceived external judgment regarding LLM usage. Our results yield important insights for future work on designing interventions to encourage more transparent disclosure of the use of LLMs or other AI technologies.