Text2Chart31: Instruction Tuning for Chart Generation with Automatic Feedback

📄 arXiv: 2410.04064v2 📥 PDF

作者: Fatemeh Pesaran Zadeh, Juyeon Kim, Jin-Hwa Kim, Gunhee Kim

分类: cs.LG, cs.AI

发布日期: 2024-10-05 (更新: 2025-02-17)

备注: EMNLP 2024 Main Oral. Code and dataset are released at https://github.com/fatemehpesaran310/Text2Chart31

🔗 代码/项目: GITHUB

💡 一句话要点

提出Text2Chart31数据集和基于强化学习的指令调优方法，提升LLM在图表生成任务中的性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图表生成 大型语言模型 指令调优 强化学习 数据可视化

📋 核心要点

  1. 现有图表生成数据集覆盖范围有限，缺乏对3D等复杂图表类型的支持，阻碍了LLM在数据可视化领域的应用。
  2. 论文提出Text2Chart31数据集，包含31种图表类型，并采用基于强化学习的指令调优方法，无需人工反馈即可提升模型性能。
  3. 实验结果表明，该方法显著提升了模型在图表生成任务中的性能，使小模型能媲美甚至超越大型开源和专有模型。

📝 摘要（中文）

大型语言模型（LLM）在各种语言任务中表现出强大的能力，尤其是在指令调优方法方面。然而，LLM在通过图表和绘图可视化复杂的真实世界数据方面面临挑战。首先，现有数据集很少涵盖全范围的图表类型，例如3D、体积和网格图表。其次，监督微调方法没有充分利用富数据集中的复杂关系，包括文本、代码和图形。为了解决这些挑战，我们提出了一个用于图表生成的分层pipeline和一个新的数据集。我们的数据集Text2Chart31包括31种独特的绘图类型，参考Matplotlib库，包含11.1K个描述、代码、数据表和绘图的元组。此外，我们引入了一种基于强化学习的指令调优技术，用于图表生成任务，无需人工反馈。实验表明，这种方法显著提高了模型性能，使较小的模型能够优于较大的开源模型，并且在数据可视化任务中与最先进的专有模型相媲美。我们将在https://github.com/fatemehpesaran310/Text2Chart31上提供代码和数据集。

🔬 方法详解

问题定义：现有图表生成任务面临的挑战在于数据集的局限性，特别是缺乏对多种图表类型的覆盖，例如3D、体积图和网格图等。此外，传统的监督微调方法难以充分利用文本、代码和图形之间复杂的关联关系，导致模型在生成复杂图表时表现不佳。现有方法依赖人工标注或反馈，成本较高且效率较低。

核心思路：论文的核心思路是构建一个更全面、多样化的图表生成数据集Text2Chart31，并结合强化学习进行指令调优，从而提升LLM在图表生成任务中的性能。通过强化学习，模型可以自动从生成的图表中学习，无需人工干预，从而降低成本并提高效率。

技术框架：该方法采用一个分层的pipeline，首先利用Text2Chart31数据集对LLM进行预训练或微调。然后，使用强化学习算法对模型进行指令调优，目标是最大化生成图表的质量和与输入文本描述的一致性。强化学习的奖励函数基于自动评估指标，例如图表的清晰度、信息量和与描述的匹配程度。

关键创新：该论文的关键创新在于：1) 构建了包含31种图表类型的Text2Chart31数据集，显著扩展了现有数据集的覆盖范围。2) 提出了基于强化学习的指令调优方法，无需人工反馈即可提升模型性能。这种方法能够自动学习图表生成的最佳策略，从而降低了人工成本并提高了效率。

关键设计：在强化学习中，使用了策略梯度算法，例如REINFORCE或PPO，来优化模型的生成策略。奖励函数的设计至关重要，需要综合考虑图表的多个方面，例如清晰度、信息量、与描述的匹配程度等。可以使用现有的图表质量评估指标，例如基于图像相似度的指标或基于信息论的指标。此外，还可以使用对抗性训练来进一步提升模型的生成能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于Text2Chart31数据集和强化学习指令调优方法训练的模型，在图表生成任务中取得了显著的性能提升。较小的模型能够超越大型开源模型，并与最先进的专有模型相媲美。这表明该方法具有很高的效率和潜力，能够有效提升LLM在数据可视化领域的应用能力。

🎯 应用场景

该研究成果可应用于数据可视化工具、商业智能平台、科学研究等领域。通过自动生成高质量的图表，可以帮助用户更有效地理解和分析数据，从而做出更明智的决策。未来，该技术有望应用于更广泛的领域，例如教育、医疗等，为人们提供更便捷、高效的数据可视化服务。

📄 摘要（原文）

Large language models (LLMs) have demonstrated strong capabilities across various language tasks, notably through instruction-tuning methods. However, LLMs face challenges in visualizing complex, real-world data through charts and plots. Firstly, existing datasets rarely cover a full range of chart types, such as 3D, volumetric, and gridded charts. Secondly, supervised fine-tuning methods do not fully leverage the intricate relationships within rich datasets, including text, code, and figures. To address these challenges, we propose a hierarchical pipeline and a new dataset for chart generation. Our dataset, Text2Chart31, includes 31 unique plot types referring to the Matplotlib library, with 11.1K tuples of descriptions, code, data tables, and plots. Moreover, we introduce a reinforcement learning-based instruction tuning technique for chart generation tasks without requiring human feedback. Our experiments show that this approach significantly enhances the model performance, enabling smaller models to outperform larger open-source models and be comparable to state-of-the-art proprietary models in data visualization tasks. We make the code and dataset available at https://github.com/fatemehpesaran310/Text2Chart31.