Do LLMs Work on Charts? Designing Few-Shot Prompts for Chart Question Answering and Summarization

📄 arXiv: 2312.10610v1 📥 PDF

作者: Xuan Long Do, Mohammad Hassanpour, Ahmed Masry, Parsa Kavehzadeh, Enamul Hoque, Shafiq Joty

分类: cs.CL

发布日期: 2023-12-17

备注: 23 pages

💡 一句话要点

提出PromptChart框架以解决图表问答与总结问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图表问答 多模态学习 少样本学习 视觉信息注入 大型语言模型

📋 核心要点

  1. 现有方法主要依赖于对预训练模型的微调，成本高且难以泛化到新任务。
  2. 本文提出PromptChart框架，通过设计少样本提示和注入视觉信息来提升LLMs在图表任务中的表现。
  3. 实验结果显示，经过优化的提示设计使得LLMs在图表问答和总结任务中达到了最先进的性能。

📝 摘要（中文）

近年来，针对图表的易访问性提出了多种任务，如图表问答和总结。传统方法通常通过对预训练模型进行微调来解决这些任务，但这种方法不仅成本高昂，而且对未见任务的泛化能力不足。大型语言模型（LLMs）在零样本或少样本提示下展现了出色的泛化能力，但在图表相关任务中的应用并不简单，因为这些任务需要考虑图表图像中的数据和视觉特征。为此，本文提出了PromptChart，一个多模态少样本提示框架，旨在提升LLMs在图表相关应用中的表现。通过仔细分析任务，提出了一套提示设计指南，并提出了一种将视觉信息注入提示的策略。实验结果表明，经过精心设计的提示可以使LLMs在基准测试中表现优异，达到最先进水平。

🔬 方法详解

问题定义：本文旨在解决图表问答和总结任务中现有方法的高成本和泛化能力不足的问题。传统的微调方法在面对未见任务时表现不佳，限制了其应用范围。

核心思路：论文提出的PromptChart框架利用大型语言模型的少样本学习能力，通过设计有效的提示和注入视觉信息，来提升模型在图表相关任务中的表现。这样的设计使得模型能够更好地理解图表中的数据和视觉特征。

技术框架：PromptChart框架包括几个主要模块：任务分析、提示设计和视觉信息注入。首先，分析不同的图表任务，制定相应的提示策略；然后，设计少样本提示以引导LLMs进行有效的推理；最后，通过特定策略将视觉信息融入提示中。

关键创新：最重要的创新点在于提出了一套系统的提示设计指南，并结合视觉信息的注入策略，使得LLMs能够在图表任务中实现显著的性能提升。这与传统的微调方法形成鲜明对比。

关键设计：在提示设计中，考虑了任务的特性和图表的视觉元素，确保提示能够有效引导模型进行推理。此外，视觉信息的注入策略通过特定的格式和内容设计，使得模型能够更好地理解图表的上下文。

📊 实验亮点

实验结果表明，经过优化的提示设计使得LLMs在图表问答和总结任务中达到了最先进的性能，具体表现为在多个基准测试中超越了现有的最佳结果，提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括数据分析、商业智能和教育等多个领域。通过提升LLMs在图表任务中的表现，能够帮助用户更高效地从图表中提取信息，支持决策制定和知识获取。未来，该框架有望推动更多图表相关应用的发展，提升人机交互的智能化水平。

📄 摘要（原文）

A number of tasks have been proposed recently to facilitate easy access to charts such as chart QA and summarization. The dominant paradigm to solve these tasks has been to fine-tune a pretrained model on the task data. However, this approach is not only expensive but also not generalizable to unseen tasks. On the other hand, large language models (LLMs) have shown impressive generalization capabilities to unseen tasks with zero- or few-shot prompting. However, their application to chart-related tasks is not trivial as these tasks typically involve considering not only the underlying data but also the visual features in the chart image. We propose PromptChart, a multimodal few-shot prompting framework with LLMs for chart-related applications. By analyzing the tasks carefully, we have come up with a set of prompting guidelines for each task to elicit the best few-shot performance from LLMs. We further propose a strategy to inject visual information into the prompts. Our experiments on three different chart-related information consumption tasks show that with properly designed prompts LLMs can excel on the benchmarks, achieving state-of-the-art.