How Does the Disclosure of AI Assistance Affect the Perceptions of Writing?

📄 arXiv: 2410.04545v1 📥 PDF

作者: Zhuoyan Li, Chen Liang, Jing Peng, Ming Yin

分类: cs.CL

发布日期: 2024-10-06

备注: EMNLP 2024. arXiv admin note: text overlap with arXiv:2403.12004

💡 一句话要点

研究AI辅助写作信息披露对写作质量感知的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI辅助写作 信息披露 质量感知 人机协同 实验研究

📋 核心要点

  1. 探讨了AI辅助写作信息披露对写作质量评价的影响，旨在理解人机协同写作范式下的用户感知。
  2. 通过实验研究不同程度和类型的AI辅助信息披露，分析其对写作质量评估和作品排名的影响。
  3. 实验结果表明，披露AI辅助写作会降低平均质量评分，且个体差异增大，写作信心和AI熟悉度是调节因素。

📝 摘要（中文）

随着大型语言模型等生成式AI技术的进步，AI辅助写作日益普及，人机协同写作成为一种新的范式。为了解人们对这种范式下产生的作品的看法，本文通过实验研究了写作过程中AI辅助的程度和类型的信息披露，如何影响人们对写作的感知，包括对写作质量的评估和不同作品的排名。结果表明，披露AI辅助写作，特别是AI在生成新内容方面提供帮助时，会降低议论文和创意故事的平均质量评分。这种平均质量评分的降低通常伴随着个体对同一作品质量评估的差异增大。个人的写作信心和对AI写作助手的熟悉程度会调节AI辅助信息披露对其写作质量评估的影响。此外，披露AI辅助的使用可能会显著降低AI内容生成辅助的作品在排名靠前的作品中的比例。

🔬 方法详解

问题定义：论文旨在研究在人机协同写作的背景下，AI辅助写作的信息披露（包括辅助类型和程度）如何影响人们对写作质量的感知和评价。现有方法缺乏对信息披露本身影响的系统性研究，无法有效理解用户对AI辅助写作的接受度和信任度。

核心思路：论文的核心思路是通过实验方法，操纵AI辅助写作的信息披露情况，并收集参与者对不同写作作品的质量评价和排名。通过统计分析，揭示信息披露与质量感知之间的关系，并探究个体因素（如写作信心和AI熟悉度）的调节作用。这样设计的目的是量化信息披露的影响，并识别影响用户评价的关键因素。

技术框架：论文采用实验研究方法，主要流程包括：1) 选择议论文和创意故事两种写作类型；2) 控制AI辅助的程度和类型（例如，仅提供润色建议或生成部分内容）；3) 设计不同的信息披露方案（例如，完全披露、部分披露、不披露）；4) 招募参与者阅读并评价不同方案下的写作作品；5) 收集参与者的质量评分和作品排名；6) 使用统计方法（如方差分析、回归分析）分析数据，评估信息披露的影响。

关键创新：论文的关键创新在于关注AI辅助写作信息披露这一重要但被忽视的因素，并系统性地研究其对写作质量感知的影响。与以往研究主要关注AI写作本身质量不同，本文强调信息透明度对用户评价的潜在影响，为构建更值得信任的人机协同写作系统提供了新的视角。

关键设计：实验设计中，关键参数包括：AI辅助程度（例如，无辅助、提供建议、生成部分内容）、信息披露方式（例如，完全披露、部分披露、不披露）、写作类型（议论文、创意故事）以及参与者的写作信心和AI熟悉程度。论文可能采用了李克特量表来收集参与者对写作质量的评分，并使用统计软件（如SPSS或R）进行数据分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，披露AI辅助写作，特别是AI生成内容时，会显著降低平均质量评分。同时，个体对同一作品的质量评估差异增大。写作信心和AI熟悉程度会调节信息披露的影响。AI内容生成辅助的作品在排名靠前的作品中的比例显著降低。

🎯 应用场景

该研究成果可应用于开发更透明、更值得信任的AI写作辅助工具。通过合理的信息披露策略，可以提升用户对AI辅助写作的接受度，并促进人机协同写作的普及。此外，该研究也为AI伦理研究提供了参考，有助于制定更负责任的AI应用规范。

📄 摘要（原文）

Recent advances in generative AI technologies like large language models have boosted the incorporation of AI assistance in writing workflows, leading to the rise of a new paradigm of human-AI co-creation in writing. To understand how people perceive writings that are produced under this paradigm, in this paper, we conduct an experimental study to understand whether and how the disclosure of the level and type of AI assistance in the writing process would affect people's perceptions of the writing on various aspects, including their evaluation on the quality of the writing and their ranking of different writings. Our results suggest that disclosing the AI assistance in the writing process, especially if AI has provided assistance in generating new content, decreases the average quality ratings for both argumentative essays and creative stories. This decrease in the average quality ratings often comes with an increased level of variations in different individuals' quality evaluations of the same writing. Indeed, factors such as an individual's writing confidence and familiarity with AI writing assistants are shown to moderate the impact of AI assistance disclosure on their writing quality evaluations. We also find that disclosing the use of AI assistance may significantly reduce the proportion of writings produced with AI's content generation assistance among the top-ranked writings.