DataNarrative: Automated Data-Driven Storytelling with Visualizations and Texts

📄 arXiv: 2408.05346v3 📥 PDF

作者: Mohammed Saidul Islam, Md Tahmid Rahman Laskar, Md Rizwan Parvez, Enamul Hoque, Shafiq Joty

分类: cs.CL

发布日期: 2024-08-09 (更新: 2024-10-04)

💡 一句话要点

提出DataNarrative框架，利用多智能体LLM自动生成数据驱动的故事，包含可视化和文本。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据故事生成 大型语言模型 多智能体系统 自然语言处理 可视化 数据分析 自动化叙事

📋 核心要点

  1. 现有数据故事生成方法依赖人工干预，耗时且需要专业知识，缺乏自动化和可扩展性。
  2. 提出多智能体框架DataNarrative，利用LLM模拟人类故事生成过程，实现数据理解、叙述和验证的自动化。
  3. 实验表明，该框架在模型评估和人工评估中均优于非智能体方法，但数据故事生成仍面临挑战。

📝 摘要（中文）

数据驱动的故事叙述是一种强大的方法，它通过将叙事技巧与可视化和文本相结合来传达见解。这些故事集成了视觉辅助工具，例如图表中突出显示的条形和线条，以及解释见解的文本注释。然而，创建此类故事需要对数据有深刻的理解和细致的叙事规划，通常需要人工干预，这既耗时又费力。虽然大型语言模型（LLM）在各种NLP任务中表现出色，但它们生成连贯和全面的数据故事的能力仍有待探索。在这项工作中，我们介绍了一个用于数据故事生成的新任务和一个包含来自不同来源的1,449个故事的基准。为了应对制作连贯数据故事的挑战，我们提出了一个多智能体框架，该框架采用两个LLM智能体，旨在复制人类的故事叙述过程：一个用于理解和描述数据（Reflection），生成大纲和叙述，另一个用于在每个中间步骤进行验证。虽然我们的智能体框架通常在基于模型和人工评估中优于非智能体框架，但结果也揭示了数据故事生成中独特的挑战。

🔬 方法详解

问题定义：论文旨在解决数据驱动故事自动生成的问题。现有方法主要依赖人工，需要数据理解、叙事设计和可视化呈现等多个环节，成本高昂且效率低下。大型语言模型在文本生成方面表现出色，但直接用于数据故事生成时，缺乏对数据的深度理解和叙事连贯性。

核心思路：论文的核心思路是利用多智能体系统模拟人类数据故事生成的过程。通过将任务分解为数据理解、故事大纲生成、叙述生成和验证等多个步骤，并分配给不同的LLM智能体，从而提高生成数据故事的质量和连贯性。这种方法借鉴了人类专家在数据分析和故事叙述方面的经验。

技术框架：DataNarrative框架包含两个主要智能体：Reflection智能体和Verification智能体。Reflection智能体负责理解数据、生成故事大纲和叙述文本。Verification智能体则负责在每个步骤验证Reflection智能体的输出，确保其准确性和连贯性。整个流程包括数据输入、Reflection智能体生成初步叙述、Verification智能体验证并提供反馈、Reflection智能体根据反馈进行修改，最终生成完整的数据故事。

关键创新：该论文的关键创新在于提出了一个多智能体框架，将数据故事生成任务分解为多个可控的步骤，并利用LLM智能体进行自动化处理。通过引入Verification智能体，可以有效提高生成故事的准确性和连贯性，减少人工干预。此外，论文还构建了一个包含1449个数据故事的基准数据集，为该领域的研究提供了支持。

关键设计：Reflection智能体和Verification智能体均采用大型语言模型，例如GPT-3或类似的模型。关键设计在于如何设计Prompt，引导LLM智能体完成特定的任务。例如，Reflection智能体需要Prompt引导其理解数据、识别关键趋势和模式，并生成相应的叙述文本。Verification智能体需要Prompt引导其检查叙述文本的准确性、逻辑性和连贯性，并提供具体的修改建议。具体的参数设置和网络结构取决于所使用的LLM模型。

📊 实验亮点

实验结果表明，DataNarrative框架在模型评估和人工评估中均优于非智能体方法。具体而言，在模型评估中，DataNarrative框架在BLEU、ROUGE等指标上取得了显著提升。在人工评估中，用户对DataNarrative框架生成的故事的质量、准确性和连贯性评价更高。虽然取得了初步成功，但实验结果也表明，数据故事生成仍然面临挑战，例如如何更好地理解复杂数据、如何生成更具创意和吸引力的故事等。

🎯 应用场景

该研究成果可应用于商业智能、新闻报道、教育培训等领域，帮助用户快速理解数据并生成易于理解的故事。例如，企业可以使用该系统自动生成销售报告、市场分析报告等，新闻机构可以使用该系统自动生成数据新闻报道，教师可以使用该系统辅助教学，提高学生的学习效果。未来，该技术有望进一步发展，实现更加个性化和交互式的数据故事生成。

📄 摘要（原文）

Data-driven storytelling is a powerful method for conveying insights by combining narrative techniques with visualizations and text. These stories integrate visual aids, such as highlighted bars and lines in charts, along with textual annotations explaining insights. However, creating such stories requires a deep understanding of the data and meticulous narrative planning, often necessitating human intervention, which can be time-consuming and mentally taxing. While Large Language Models (LLMs) excel in various NLP tasks, their ability to generate coherent and comprehensive data stories remains underexplored. In this work, we introduce a novel task for data story generation and a benchmark containing 1,449 stories from diverse sources. To address the challenges of crafting coherent data stories, we propose a multiagent framework employing two LLM agents designed to replicate the human storytelling process: one for understanding and describing the data (Reflection), generating the outline, and narration, and another for verification at each intermediary step. While our agentic framework generally outperforms non-agentic counterparts in both model-based and human evaluations, the results also reveal unique challenges in data story generation.