Promptly Yours? A Human Subject Study on Prompt Inference in AI-Generated Art
作者: Khoi Trinh, Joseph Spracklen, Raveen Wijewickrama, Bimal Viswanath, Murtuza Jadliwala, Anindya Maiti
分类: cs.HC, cs.AI
发布日期: 2024-10-10
💡 一句话要点
研究人类与AI在AI生成艺术中Prompt推断的准确性与协同能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: AI生成艺术 Prompt推断 知识产权 人机协作 大型语言模型
📋 核心要点
- AI生成艺术的prompt市场兴起，但prompt的知识产权保护面临挑战，用户可能通过公开图像反推prompt。
- 研究通过人类实验，评估了人类单独以及人机协作推断prompt的准确性，旨在了解prompt的潜在泄露风险。
- 实验表明，人类和人机协作能够较为准确地推断prompt，但效果仍不及原始prompt，提示prompt存在泄露风险。
📝 摘要（中文）
本文研究了AI生成艺术领域中prompt市场的安全性问题，特别是当创作者出售或分享prompt时，其prompt是否能被安全地视为知识产权。研究通过人类受试者实验，评估了仅凭AI生成的图像，人类推断原始prompt并生成相似图像的准确性。同时，探索了利用大型语言模型辅助人类进行prompt推断，构建人机协作prompt的可能性，并与单独的人工推断和AI推断进行比较。研究结果表明，人类和人机协作在prompt推断和图像生成方面具有较高准确性，但仍不如使用原始prompt的效果。
🔬 方法详解
问题定义：论文旨在研究在AI生成艺术的prompt市场中，出售的prompt是否能够被安全地视为知识产权。现有的prompt市场允许用户购买、出售或分享prompt，但如果用户能够通过观察AI生成的图像来推断出原始prompt，那么prompt的知识产权就面临威胁。现有的研究主要集中在使用AI和机器学习来推断或保护prompt，而忽略了人类在prompt推断中的作用。
核心思路：论文的核心思路是通过人类受试者实验，评估人类仅凭AI生成的图像推断原始prompt的能力。同时，探索利用大型语言模型辅助人类进行prompt推断，构建人机协作的prompt，并与单独的人工推断和AI推断进行比较。通过这种方式，可以更全面地了解prompt泄露的风险，并为prompt市场的知识产权保护提供参考。
技术框架：论文采用了一种基于调查问卷的人类受试者实验方法。实验流程大致如下：1) 选择一组AI生成的图像，这些图像对应着在prompt市场上出售的prompt；2) 招募人类受试者，并向他们展示这些图像；3) 要求受试者根据图像推断原始prompt，并使用推断出的prompt生成新的图像；4) 使用大型语言模型辅助部分受试者进行prompt推断，形成人机协作的prompt；5) 比较受试者推断出的prompt和原始prompt的相似度，以及生成的图像与原始图像的相似度。
关键创新：论文的关键创新在于将人类引入了AI生成艺术的prompt推断研究中。以往的研究主要集中在使用AI和机器学习来推断或保护prompt，而忽略了人类在prompt推断中的作用。通过人类受试者实验，可以更真实地反映prompt泄露的风险，并为prompt市场的知识产权保护提供更有效的参考。此外，论文还探索了利用大型语言模型辅助人类进行prompt推断，构建人机协作的prompt，这为prompt推断提供了一种新的思路。
关键设计：论文的关键设计包括：1) 选择具有代表性的AI生成图像，这些图像应涵盖不同的风格和主题；2) 设计合理的调查问卷，以便收集受试者的prompt推断结果和反馈；3) 选择合适的大型语言模型，并设计有效的prompt策略，以辅助人类进行prompt推断；4) 使用合适的评价指标，例如BLEU score或CLIP score，来评估推断出的prompt和生成的图像与原始prompt和图像的相似度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，人类和人机协作能够较为准确地推断prompt，并生成与原始图像相似的图像。但与使用原始prompt生成的图像相比，人类和人机协作生成的图像在细节和质量上仍存在差距。这表明，虽然prompt存在泄露风险，但完全复制原始图像仍然具有一定的难度。具体性能数据未知。
🎯 应用场景
该研究成果可应用于AI生成艺术的prompt市场，帮助评估prompt的知识产权风险，并为prompt的保护提供参考。同时，该研究也为其他领域的知识产权保护提供了借鉴，例如，可以用于评估图像、音频等其他类型数据的潜在泄露风险。此外，人机协作prompt推断的方法，也可以应用于其他需要人类参与的AI任务中，提高任务的效率和准确性。
📄 摘要（原文）
The emerging field of AI-generated art has witnessed the rise of prompt marketplaces, where creators can purchase, sell, or share prompts for generating unique artworks. These marketplaces often assert ownership over prompts, claiming them as intellectual property. This paper investigates whether concealed prompts sold on prompt marketplaces can be considered as secure intellectual property, given that humans and AI tools may be able to approximately infer the prompts based on publicly advertised sample images accompanying each prompt on sale. Specifically, our survey aims to assess (i) how accurately can humans infer the original prompt solely by examining an AI-generated image, with the goal of generating images similar to the original image, and (ii) the possibility of improving upon individual human and AI prompt inferences by crafting human-AI combined prompts with the help of a large language model. Although previous research has explored the use of AI and machine learning to infer (and also protect against) prompt inference, we are the first to include humans in the loop. Our findings indicate that while humans and human-AI collaborations can infer prompts and generate similar images with high accuracy, they are not as successful as using the original prompt.