$C^2$: Scalable Auto-Feedback for LLM-based Chart Generation

📄 arXiv: 2410.18652v7 📥 PDF

作者: Woosung Koh, Jang Han Yoon, MinHyung Lee, Youngjin Song, Jaegwan Cho, Jaehyun Kang, Taehyeon Kim, Se-Young Yun, Youngjae Yu, Bongshin Lee

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-10-24 (更新: 2025-02-12)

备注: NAACL 2025 Main (Long)

💡 一句话要点

提出C²框架，通过自动反馈提升LLM生成图表质量并解决数据稀缺问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图表生成 大型语言模型 自动反馈 数据增强 数据可视化 无参考评估 可扩展性

📋 核心要点

  1. 现有基于LLM的图表生成方法依赖大量人工标注数据，成本高昂且难以扩展，限制了其应用。
  2. C²框架通过自动反馈提供器ChartAF和多样化数据集ChartUIE-8K，无需人工干预即可提升图表生成质量。
  3. 实验表明，C²框架显著提升了图表生成质量，用户更偏好反馈后的结果，且数据集显著提高了数据多样性。

📝 摘要（中文）

本文提出了一种可扩展的自动反馈框架C²，用于提升基于大型语言模型（LLM）的图表生成质量，旨在解决数据有限和人工标注成本高昂的问题。C²框架包含一个自动反馈提供器（ChartAF）和一个多样化的、无参考数据集（ChartUIE-8K），从而避免了昂贵的人工干预。实验结果表明，74%的受访者强烈偏好经过反馈后的图表结果，10%的受访者更喜欢反馈后的结果。ChartAF的性能优于九个基线模型。ChartUIE-8K通过增加查询、数据集和图表类型，显著提高了数据多样性，分别提升了5982%、1936%和91%。LLM用户研究表明，94%的参与者更喜欢ChartUIE-8K的查询，93%认为这些查询与真实世界的用例相符。核心代码和示例已开源。

🔬 方法详解

问题定义：论文旨在解决基于LLM的图表生成任务中，高质量训练数据稀缺且人工标注成本高昂的问题。现有方法依赖于大量人工标注的三元组，但这些数据的创建需要专业知识，难以大规模获取，限制了LLM在图表生成领域的应用。

核心思路：论文的核心思路是利用自动反馈机制，替代耗时耗力的人工标注。通过设计一个自动反馈提供器（ChartAF），对LLM生成的图表进行评估并提供反馈，从而引导LLM生成更符合要求的图表。同时，构建一个多样化的、无参考的数据集（ChartUIE-8K），以提升模型的泛化能力。

技术框架：C²框架主要包含两个核心模块：ChartAF（自动反馈提供器）和ChartUIE-8K（多样化数据集）。ChartAF负责对LLM生成的图表进行评估，并提供改进建议。ChartUIE-8K数据集则为LLM提供更丰富、更全面的训练数据，包括各种类型的图表、数据集和用户查询。整个流程是：LLM根据用户指令和数据生成图表，ChartAF对生成的图表进行评估并提供反馈，LLM根据反馈进行调整，最终生成高质量的图表。

关键创新：该论文的关键创新在于提出了一个完全自动化的反馈框架，无需人工干预即可提升LLM生成图表的能力。ChartAF的设计是核心，它能够模拟人工评估过程，对图表进行多维度分析，并给出具体的改进建议。此外，ChartUIE-8K数据集的构建也显著提升了数据多样性，使得模型能够更好地泛化到不同的应用场景。

关键设计：ChartAF的具体实现细节未知，但可以推测其可能利用了规则、启发式算法或预训练模型来评估图表质量，并生成反馈信息。ChartUIE-8K数据集的构建可能采用了数据增强、数据挖掘等技术，以增加数据集的多样性和规模。论文中并未详细描述损失函数和网络结构等技术细节，这些可能是ChartAF内部实现的关键部分，需要进一步研究。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，74%的受访者强烈偏好经过C²框架反馈后的图表结果，10%的受访者更喜欢反馈后的结果。ChartAF的性能优于九个基线模型。ChartUIE-8K数据集显著提高了数据多样性，查询数量提升5982%，数据集数量提升1936%，图表类型提升91%。94%的LLM用户更喜欢ChartUIE-8K的查询，93%认为这些查询与真实世界的用例相符。

🎯 应用场景

该研究成果可广泛应用于数据可视化领域，例如商业智能、科学研究、教育等。通过自动生成高质量的图表，可以帮助用户更有效地理解和分析数据，从而做出更明智的决策。未来，该技术有望集成到各种数据分析工具和平台中，降低数据可视化的门槛。

📄 摘要（原文）

Generating high-quality charts with Large Language Models (LLMs) presents significant challenges due to limited data and the high cost of scaling through human curation. $\langle \text{instruction}, \text{data}, \text{code} \rangle$ triplets are scarce and expensive to manually curate as their creation demands technical expertise. To address this scalability challenge, we introduce a reference-free automatic feedback generator, which eliminates the need for costly human intervention. Our novel framework, C$^2$, consists of (1) an automatic feedback provider (ChartAF) and (2) a diverse, reference-free dataset (ChartUIE-8K). The results are compelling: in our first experiment, 74% of respondents strongly preferred, and 10% preferred, the results after feedback. The second post-feedback experiment demonstrates that ChartAF outperform nine baselines. Moreover, ChartUIE-8K significantly improves data diversity by increasing queries, datasets, and chart types by 5982%, 1936%, and 91%, respectively, over benchmarks. Finally, a study of LLM users revealed that 94% of participants preferred ChartUIE-8K's queries, with 93% deeming them aligned with real-world use cases. Core contributions are available as open-source at chartsquared.github.io, with ample qualitative examples.