V-RECS, a Low-Cost LLM4VIS Recommender with Explanations, Captioning and Suggestions

📄 arXiv: 2406.15259v2 📥 PDF

作者: Luca Podo, Marco Angelini, Paola Velardi

分类: cs.HC, cs.AI

发布日期: 2024-06-21 (更新: 2024-07-31)

💡 一句话要点

V-RECS：低成本LLM4VIS推荐系统，具备解释、描述和建议功能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言到可视化 LLM4VIS 视觉推荐系统 思维链 师生学习 模型微调 可解释性AI

📋 核心要点

  1. 现有NL2VIS方法难以兼顾性能、成本和可控性，尤其是在处理复杂数据探索任务时。
  2. V-RECS采用师生模式，利用大型LLM指导小型LLM，生成解释性可视化推荐，降低成本并提高可控性。
  3. 实验表明，V-RECS在性能上可与GPT-4媲美，同时显著降低了计算成本，未经微调的Llama模型则表现不佳。

📝 摘要（中文）

本文提出V-RECS，一个基于LLM的视觉推荐系统，它增强了解释(E)、描述(C)和建议(S)功能，以促进进一步的数据探索。V-RECS的视觉叙事通过为非专业用户提供响应验证和数据探索能力，极大地促进了数据探索。该方案通过有效微调小型模型，缓解了使用大型LLM带来的计算、可控性和成本问题。为了生成有洞察力的可视化叙事，我们使用思维链(CoT)提示工程技术，帮助LLM识别并生成产生正确答案的逻辑步骤。由于CoT在小型LLM上的表现不佳，我们采用了一种策略，即使用大型LLM（GPT-4）作为教师，生成基于CoT的指令来微调小型模型Llama-2-7B，后者扮演学生的角色。基于AI可视化定量评估框架和人工评估的大量实验表明，V-RECS以更低的成本实现了与GPT-4相当的性能。V-RECS师生范式的有效性也体现在未经调整的Llama在绝大多数测试用例中都无法完成任务。我们发布V-RECS，以协助可视化设计人员完成整个可视化生成过程。

🔬 方法详解

问题定义：论文旨在解决自然语言到可视化（NL2VIS）领域中，利用大型语言模型（LLM）进行可视化推荐时面临的计算成本高、可控性差等问题。现有方法通常直接使用大型LLM，虽然效果较好，但部署和维护成本很高，且难以针对特定任务进行定制和优化。

核心思路：论文的核心思路是采用“师生模式”，利用大型LLM（如GPT-4）作为教师，生成用于指导小型LLM（如Llama-2-7B）进行微调的指令。通过这种方式，可以在保证性能的同时，显著降低计算成本，并提高模型的可控性和可定制性。

技术框架：V-RECS的技术框架主要包含以下几个阶段：1) 使用大型LLM（GPT-4）作为教师，利用Chain-of-Thoughts (CoT) 技术，为每个输入生成详细的推理步骤和最终的可视化推荐结果。2) 将生成的推理步骤和结果作为训练数据，用于微调小型LLM（Llama-2-7B），使其能够模仿大型LLM的推理过程和输出。3) 使用微调后的小型LLM进行可视化推荐，并提供解释、描述和建议功能。

关键创新：论文的关键创新在于提出了基于师生模式的LLM4VIS推荐方法，该方法有效地利用了大型LLM的知识和推理能力，同时避免了直接使用大型LLM带来的高成本和低可控性问题。此外，论文还结合了CoT技术，提高了模型生成解释性可视化推荐的能力。

关键设计：在师生模式中，GPT-4被用作教师模型，负责生成高质量的CoT推理链和可视化推荐结果。Llama-2-7B被用作学生模型，通过微调学习GPT-4的推理模式。微调过程中，使用了生成的CoT推理链和对应的可视化推荐结果作为训练数据。具体的损失函数和网络结构细节未在摘要中明确说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，V-RECS在可视化推荐任务上取得了与GPT-4相当的性能，同时显著降低了计算成本。未经微调的Llama-2-7B模型在绝大多数测试用例中都无法完成任务，证明了师生模式的有效性。具体的性能指标和提升幅度未在摘要中明确说明，属于未知信息。

🎯 应用场景

V-RECS可应用于各种数据探索和可视化场景，例如商业智能、科学研究、教育等。非专业用户可以通过自然语言查询，快速生成所需的可视化结果，并获得解释和建议，从而更有效地理解和分析数据。该研究有助于降低数据分析的门槛，促进数据驱动的决策。

📄 摘要（原文）

NL2VIS (natural language to visualization) is a promising and recent research area that involves interpreting natural language queries and translating them into visualizations that accurately represent the underlying data. As we navigate the era of big data, NL2VIS holds considerable application potential since it greatly facilitates data exploration by non-expert users. Following the increasingly widespread usage of generative AI in NL2VIS applications, in this paper we present V-RECS, the first LLM-based Visual Recommender augmented with explanations(E), captioning(C), and suggestions(S) for further data exploration. V-RECS' visualization narratives facilitate both response verification and data exploration by non-expert users. Furthermore, our proposed solution mitigates computational, controllability, and cost issues associated with using powerful LLMs by leveraging a methodology to effectively fine-tune small models. To generate insightful visualization narratives, we use Chain-of-Thoughts (CoT), a prompt engineering technique to help LLM identify and generate the logical steps to produce a correct answer. Since CoT is reported to perform poorly with small LLMs, we adopted a strategy in which a large LLM (GPT-4), acting as a Teacher, generates CoT-based instructions to fine-tune a small model, Llama-2-7B, which plays the role of a Student. Extensive experiments-based on a framework for the quantitative evaluation of AI-based visualizations and on manual assessment by a group of participants-show that V-RECS achieves performance scores comparable to GPT-4, at a much lower cost. The efficacy of the V-RECS teacher-student paradigm is also demonstrated by the fact that the un-tuned Llama fails to perform the task in the vast majority of test cases. We release V-RECS for the visualization community to assist visualization designers throughout the entire visualization generation process.