Modeling Story Expectations to Understand Engagement: A Generative Framework Using LLMs
作者: Hortense Fong, George Gui
分类: cs.CL, cs.AI, econ.GN, stat.ME
发布日期: 2024-12-13 (更新: 2025-07-29)
💡 一句话要点
利用LLM建模故事期望以理解用户参与度：一种生成式框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 用户参与度 故事理解 内容生成 期望建模
📋 核心要点
- 现有方法难以捕捉受众对故事发展的预期，阻碍了对用户参与度更深入的理解。
- 该论文提出利用大型语言模型生成故事的多种可能延续，以此建模受众的预期。
- 实验表明，该框架能有效补充现有特征工程技术，显著提升用户参与度预测的准确性。
📝 摘要（中文）
理解消费者何时以及为何参与故事对于内容创作者和平台至关重要。现有理论表明，受众对故事发展的预期在参与决策中起重要作用，但由于缺乏在非结构化叙事数据中建模这种预期的有效方法，实证研究主要集中于直接从实际内容中提取特征。为了补充现有的特征提取技术，本文提出了一种新颖的框架，该框架利用大型语言模型来建模受众对故事如何展开的前瞻性信念。我们的方法为每个故事生成多个潜在的延续，并使用已建立的内容分析技术提取与期望、不确定性和惊喜相关的特征。将我们的方法应用于超过30,000个书籍章节，我们证明了我们的框架通过平均提高31%的边际解释能力来补充现有的特征工程技术。结果表明，不同类型的参与——继续阅读、评论和投票——是由当前和预期内容特征的不同组合驱动的。我们的框架提供了一种研究和探索受众前瞻性信念如何影响他们参与叙事媒体的新方法，对内容行业的营销策略具有重要意义。
🔬 方法详解
问题定义：现有方法主要依赖于从已完成的内容中提取特征来预测用户参与度，忽略了用户对故事未来发展的预期这一重要因素。缺乏一种有效的方法来建模和量化这种前瞻性的用户信念，导致对用户参与行为的理解不够全面。
核心思路：该论文的核心思路是利用大型语言模型（LLM）的生成能力，模拟用户对故事未来发展的预期。通过为故事的每个节点生成多个可能的延续，可以捕捉到用户对故事走向的不确定性和潜在的惊喜，从而更全面地理解用户参与行为。
技术框架：该框架主要包含以下几个阶段：1) 故事延续生成：使用LLM为故事的每个章节生成多个可能的后续章节。2) 特征提取：从生成的延续中提取与期望、不确定性和惊喜相关的特征，例如，使用内容分析技术分析文本的情感变化、主题一致性等。3) 参与度预测：将提取的特征与现有内容特征相结合，用于预测用户参与度，例如，继续阅读、评论和投票。
关键创新：该论文的关键创新在于将大型语言模型的生成能力应用于建模用户对故事发展的预期。与以往直接从内容中提取特征的方法不同，该方法能够捕捉到用户的前瞻性信念，从而更全面地理解用户参与行为。
关键设计：论文中关键的设计包括：1) 使用特定的大型语言模型（具体模型未知）进行故事延续生成。2) 设计合适的提示工程（prompt engineering）策略，以控制生成延续的多样性和质量。3) 选择合适的特征提取方法，以量化延续中的期望、不确定性和惊喜。4) 使用合适的机器学习模型（具体模型未知）进行参与度预测，并评估不同特征组合的贡献。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架能够有效补充现有的特征工程技术，平均提高31%的边际解释能力。通过分析不同类型的用户参与行为（继续阅读、评论和投票），发现它们受到当前和预期内容特征的不同组合驱动。这些发现为理解用户参与行为提供了新的视角。
🎯 应用场景
该研究成果可应用于内容推荐系统，根据用户对故事的预期进行个性化推荐，提高用户参与度和满意度。此外，内容创作者可以利用该框架分析不同故事走向对用户参与度的影响，从而优化内容创作策略。该方法还可扩展到其他叙事媒体，如电影、电视剧和游戏。
📄 摘要（原文）
Understanding when and why consumers engage with stories is crucial for content creators and platforms. While existing theories suggest that audience beliefs of what is going to happen should play an important role in engagement decisions, empirical work has mostly focused on developing techniques to directly extract features from actual content, rather than capturing forward-looking beliefs, due to the lack of a principled way to model such beliefs in unstructured narrative data. To complement existing feature extraction techniques, this paper introduces a novel framework that leverages large language models to model audience forward-looking beliefs about how stories might unfold. Our method generates multiple potential continuations for each story and extracts features related to expectations, uncertainty, and surprise using established content analysis techniques. Applying our method to over 30,000 book chapters, we demonstrate that our framework complements existing feature engineering techniques by amplifying their marginal explanatory power on average by 31%. The results reveal that different types of engagement-continuing to read, commenting, and voting-are driven by distinct combinations of current and anticipated content features. Our framework provides a novel way to study and explore how audience forward-looking beliefs shape their engagement with narrative media, with implications for marketing strategy in content-focused industries.