MirrorStories: Reflecting Diversity through Personalized Narrative Generation with Large Language Models
作者: Sarfaroz Yunusov, Hamza Sidat, Ali Emami
分类: cs.CL, cs.AI, cs.CY
发布日期: 2024-09-20 (更新: 2024-09-24)
备注: 5 pages (excluding references), accepted to EMNLP 2024 Main Conference
💡 一句话要点
MirrorStories：利用大型语言模型生成个性化叙事，反映多元化身份认同
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性化叙事生成 大型语言模型 多元化身份认同 提示工程 文本多样性
📋 核心要点
- 现有文学作品缺乏多样性，难以引起不同身份读者的共鸣，个性化叙事生成面临挑战。
- 提出MirrorStories框架，利用大型语言模型融入姓名、性别、种族等身份元素，生成个性化故事。
- 实验表明，个性化故事在参与度、文本多样性等方面优于通用故事，并探讨了偏差和图像集成。
📝 摘要（中文）
本研究探索了大型语言模型（LLMs）在创建个性化“镜像故事”方面的有效性，这些故事能够反映并引起读者个人身份的共鸣，旨在解决文学作品中普遍存在的多元化不足问题。我们提出了MirrorStories，一个包含1500个个性化短篇故事的语料库，这些故事通过整合姓名、性别、年龄、种族、读者兴趣和故事寓意等元素生成。我们证明了LLMs能够有效地将多样化的身份元素融入叙事中，人类评估者能够以高准确率识别故事中的个性化元素。通过对26位不同背景的人类评委进行全面评估，我们将MirrorStories与通用叙事进行了比较。结果表明，个性化的LLM生成的故事不仅在所有参与度指标上都优于通用的人工撰写和LLM生成的故事（平均评分分别为4.22和3.37，满分为5分），而且在保持预期寓意的同时，实现了更高的文本多样性。我们还提供了包括偏差评估和将图像集成到个性化故事中的潜力研究的分析。
🔬 方法详解
问题定义：现有文学作品在反映社会多元化方面存在不足，难以满足不同身份背景读者的情感需求。传统的叙事生成方法通常产生通用内容，缺乏个性化定制，无法有效传递特定群体的文化价值观和生活经验。因此，如何利用人工智能技术生成能够反映读者身份认同的个性化故事，成为一个重要的研究问题。
核心思路：本研究的核心思路是利用大型语言模型（LLMs）强大的生成能力，通过在生成过程中融入读者的个人身份信息（如姓名、性别、年龄、种族、兴趣等），使生成的故事内容与读者的身份背景产生共鸣。这种个性化定制的方法旨在提高读者的参与度，并促进对不同文化和身份的理解。
技术框架：MirrorStories框架主要包含以下几个阶段：1) 身份信息收集：收集读者的姓名、性别、年龄、种族、兴趣等信息。2) 提示工程：设计包含身份信息的提示（prompts），引导LLM生成个性化故事。3) 故事生成：使用LLM（如GPT-3）根据提示生成故事。4) 故事评估：通过人工评估和自动指标评估故事的质量、个性化程度和多样性。框架还包括偏差评估和图像集成研究，以进一步提升故事的质量和吸引力。
关键创新：本研究的关键创新在于将个性化身份信息融入到LLM的故事生成过程中，从而创造出能够反映读者身份认同的“镜像故事”。与传统的通用故事生成方法相比，MirrorStories能够更好地满足不同身份背景读者的情感需求，提高读者的参与度和共鸣。此外，该研究还对LLM生成故事的偏差问题进行了评估，并探讨了将图像集成到个性化故事中的潜力。
关键设计：在提示工程方面，研究人员设计了包含身份信息的提示模板，例如：“写一个关于[姓名]的故事，[性别]是[年龄]岁的[种族]人，喜欢[兴趣]，故事的寓意是[寓意]”。在故事评估方面，研究人员采用了人工评估和自动指标相结合的方法，其中人工评估主要关注故事的质量、个性化程度和参与度，自动指标主要关注故事的文本多样性和偏差。研究人员还探索了不同的LLM参数设置，以优化故事的生成效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MirrorStories生成的个性化故事在参与度方面显著优于通用故事，平均评分从3.37提升至4.22（满分5分）。此外，个性化故事在文本多样性方面也表现更佳，同时保持了预期的故事寓意。人工评估结果显示，评估者能够准确识别故事中的个性化元素，验证了LLM在个性化叙事生成方面的有效性。
🎯 应用场景
MirrorStories技术可应用于教育、娱乐、心理咨询等领域。在教育领域，可为学生提供个性化的阅读材料，提高学习兴趣。在娱乐领域，可为用户生成定制化的故事，增强沉浸感。在心理咨询领域，可帮助用户探索自我认同，促进心理健康。未来，该技术有望应用于创作更具包容性和代表性的文学作品，促进社会多元化。
📄 摘要（原文）
This study explores the effectiveness of Large Language Models (LLMs) in creating personalized "mirror stories" that reflect and resonate with individual readers' identities, addressing the significant lack of diversity in literature. We present MirrorStories, a corpus of 1,500 personalized short stories generated by integrating elements such as name, gender, age, ethnicity, reader interest, and story moral. We demonstrate that LLMs can effectively incorporate diverse identity elements into narratives, with human evaluators identifying personalized elements in the stories with high accuracy. Through a comprehensive evaluation involving 26 diverse human judges, we compare the effectiveness of MirrorStories against generic narratives. We find that personalized LLM-generated stories not only outscore generic human-written and LLM-generated ones across all metrics of engagement (with average ratings of 4.22 versus 3.37 on a 5-point scale), but also achieve higher textual diversity while preserving the intended moral. We also provide analyses that include bias assessments and a study on the potential for integrating images into personalized stories.