Decoding the Black Box: Discerning AI Rhetorics About and Through Poetic Prompting

📄 arXiv: 2512.05243v1 📥 PDF

作者: P. D. Edgar, Alia Hall

分类: cs.CL, cs.CY

发布日期: 2025-12-04

备注: Late-Breaking Paper accepted to IEEE SSCI 2025 NLP & Social Media Track as extended abstract and presented in Trondheim, Norway 17-20 March 2025 as Poster Presentation

💡 一句话要点

利用诗歌提示模式解码大型语言模型的算法倾向与偏差

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 诗歌提示 大型语言模型 算法偏见 提示工程 创造性文本生成

📋 核心要点

  1. 现有方法在理解和控制大型语言模型的创造性输出方面存在局限，难以有效探索其内在偏见。
  2. 该研究提出利用诗歌提示模式作为一种新的提示工程方法，以更深入地探究大型语言模型的算法特性。
  3. 通过诗歌提示，研究评估了模型对特定诗人风格的理解，以及在适应受众需求时修改原创作品的倾向。

📝 摘要（中文）

提示工程已成为研究大型语言模型算法倾向和偏差的有效方法。同时，创意人员和学者利用大型语言模型开发创意作品，并通过文本生成和代码探索其写作能力的边界。本研究表明，创造性的文本提示，特别是诗歌提示模式，可能是提示工程师工具箱中的一个有益补充，并概述了采用这种方法的过程。然后，本文使用诗歌提示来评估对一位著名诗人的三种模型的描述和评估，并测试模型为假定受众调整或重写原创创意作品的意愿所带来的后果。

🔬 方法详解

问题定义：该论文旨在解决如何更有效地理解和控制大型语言模型（LLM）的创造性输出，并揭示其潜在的算法偏见。现有方法，如传统的提示工程，可能无法充分激发LLM的创造潜力，也难以深入探究其内在的倾向性。特别是在评估LLM对特定风格（如诗歌）的理解和模仿能力时，现有方法存在局限性。

核心思路：论文的核心思路是引入“诗歌提示模式”作为一种新的提示工程方法。通过精心设计的诗歌提示，可以更有效地引导LLM生成具有特定风格和情感色彩的文本，从而更好地评估其创造能力和对特定主题的理解。这种方法旨在超越简单的文本生成，深入探究LLM的算法特性和潜在偏见。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 设计和构建诗歌提示模式，这些模式旨在激发LLM的创造性输出，并引导其模仿特定诗人的风格；2) 选择三种不同的LLM模型，并使用诗歌提示对这些模型进行测试；3) 分析LLM生成的文本，评估其对诗人风格的理解程度，以及在适应不同受众需求时修改原创作品的倾向；4) 对比不同模型在诗歌提示下的表现，从而揭示它们在算法倾向和偏见方面的差异。

关键创新：该论文最重要的技术创新点在于将诗歌提示模式引入到提示工程中。与传统的提示方法相比，诗歌提示模式更注重激发LLM的创造性潜力，并引导其生成具有特定风格和情感色彩的文本。这种方法为研究LLM的算法特性和潜在偏见提供了一种新的视角和工具。

关键设计：论文的关键设计包括：1) 精心设计的诗歌提示，这些提示需要能够有效地引导LLM生成具有特定风格的文本；2) 选择具有代表性的LLM模型，以便进行对比分析；3) 设计合理的评估指标，用于评估LLM生成的文本的质量和风格相似度；4) 考虑不同受众的需求，并评估LLM在适应这些需求时修改原创作品的倾向。

📊 实验亮点

该研究通过诗歌提示模式，成功评估了三种大型语言模型对特定诗人风格的理解和模仿能力。实验结果表明，不同模型在诗歌提示下的表现存在显著差异，揭示了它们在算法倾向和偏见方面的差异。此外，研究还发现，模型在适应不同受众需求时，会表现出修改原创作品的倾向，这引发了对AI伦理和版权问题的思考。

🎯 应用场景

该研究成果可应用于创意写作辅助、AI艺术生成、以及对大型语言模型偏见和算法倾向的深入研究。通过诗歌提示模式，可以更好地控制和引导AI的创造性输出，并揭示其潜在的风险。未来，该方法有望应用于教育、娱乐等领域，并促进人与AI的协同创作。

📄 摘要（原文）

Prompt engineering has emerged as a useful way studying the algorithmic tendencies and biases of large language models. Meanwhile creatives and academics have leveraged LLMs to develop creative works and explore the boundaries of their writing capabilities through text generation and code. This study suggests that creative text prompting, specifically Poetry Prompt Patterns, may be a useful addition to the toolbox of the prompt engineer, and outlines the process by which this approach may be taken. Then, the paper uses poetic prompts to assess descriptions and evaluations of three models of a renowned poet and test the consequences of the willingness of models to adapt or rewrite original creative works for presumed audiences.