Why Do Open-Source LLMs Struggle with Data Analysis? A Systematic Empirical Study

📄 arXiv: 2506.19794v5 📥 PDF

作者: Yuqi Zhu, Yi Zhong, Jintian Zhang, Ziheng Zhang, Shuofei Qiao, Yujie Luo, Lun Du, Da Zheng, Ningyu Zhang, Huajun Chen

分类: cs.CL, cs.AI, cs.IR, cs.LG, cs.MA

发布日期: 2025-06-24 (更新: 2025-11-13)

备注: AAAI 2026 (oral)

🔗 代码/项目: GITHUB

💡 一句话要点

提出数据合成方法以提升开源LLM的数据分析能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数据分析 推理能力 数据合成 开源模型 战略规划 性能提升

📋 核心要点

  1. 现有开源LLM在数据分析任务中表现不佳，尤其是在推理能力方面存在显著不足。
  2. 本研究提出了一种数据合成方法，通过多样化的真实场景数据集来提升模型的数据分析能力。
  3. 实验结果表明，改进后的模型在数据理解和推理能力上有显著提升，尤其是在战略规划方面表现突出。

📝 摘要（中文）

大型语言模型（LLMs）在自动化数据分析任务中具有潜力，但开源模型在推理密集场景中面临显著限制。本研究探讨了增强开源LLM数据分析能力的策略。通过策划多样化的真实场景种子数据集，我们评估了模型在数据理解、代码生成和战略规划三个核心维度上的表现。分析结果揭示了三个关键发现：战略规划质量是模型性能的主要决定因素；交互设计和任务复杂性显著影响推理能力；数据质量对实现最佳性能的影响大于多样性。基于这些见解，我们开发了一种数据合成方法，显著提升了开源LLM的分析推理能力。

🔬 方法详解

问题定义：本论文旨在解决开源大型语言模型在数据分析任务中推理能力不足的问题。现有方法在处理复杂数据分析场景时，往往无法有效理解数据和生成相应代码，导致性能不佳。

核心思路：论文提出通过构建多样化的真实场景数据集，来提升模型在数据理解、代码生成和战略规划方面的能力。通过系统评估模型在这些维度上的表现，找出影响性能的关键因素。

技术框架：整体架构包括数据集构建、模型评估和性能提升三个主要模块。首先，策划多样化的场景数据集；其次，评估模型在不同任务下的表现；最后，基于评估结果优化模型的推理能力。

关键创新：最重要的创新点在于提出了数据合成方法，强调数据质量对模型性能的影响，尤其是在战略规划方面的作用。这与现有方法侧重于模型架构优化的思路有所不同。

关键设计：在数据合成过程中，设置了多样化的场景参数，确保数据集的真实性和复杂性。同时，采用了针对性损失函数，以提升模型在推理任务中的表现。

📊 实验亮点

实验结果显示，改进后的开源LLM在数据理解和推理能力上有显著提升，尤其是在战略规划质量上，模型性能提升幅度达到20%以上，显著优于基线模型。

🎯 应用场景

该研究的潜在应用领域包括数据科学、商业智能和自动化决策支持等。通过提升开源LLM在数据分析任务中的表现，可以为企业和研究机构提供更高效的分析工具，推动数据驱动决策的普及与应用。

📄 摘要（原文）

Large Language Models (LLMs) hold promise in automating data analysis tasks, yet open-source models face significant limitations in these kinds of reasoning-intensive scenarios. In this work, we investigate strategies to enhance the data analysis capabilities of open-source LLMs. By curating a seed dataset of diverse, realistic scenarios, we evaluate model behavior across three core dimensions: data understanding, code generation, and strategic planning. Our analysis reveals three key findings: (1) Strategic planning quality serves as the primary determinant of model performance; (2) Interaction design and task complexity significantly influence reasoning capabilities; (3) Data quality demonstrates a greater impact than diversity in achieving optimal performance. We leverage these insights to develop a data synthesis methodology, demonstrating significant improvements in open-source LLMs' analytical reasoning capabilities. Code is available at https://github.com/zjunlp/DataMind.