CharTool: Tool-Integrated Visual Reasoning for Chart Understanding

📄 arXiv: 2604.02794 📥 PDF

作者: Situo Zhang, Yifan Zhang, Zichen Zhu, Da Ma, Lei Pan, Danyang Zhang, Zihan Zhao, Lu Chen, Kai Yu

分类: cs.AI

发布日期: 2026-04-06

💡 一句话要点

CharTool：工具集成视觉推理用于图表理解

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图表理解 多模态学习 工具集成 视觉推理 强化学习 数据增强 大语言模型

📋 核心要点

  1. 多模态大语言模型在图表推理方面面临挑战，主要原因是缺乏高质量训练数据和需要精细的视觉定位与数值计算。
  2. CharTool的核心思想是为MLLM配备图像裁剪和代码计算等外部工具，通过强化学习实现工具集成推理，提升图表理解能力。
  3. 实验结果表明，CharTool在多个图表基准测试中显著优于现有模型，并在领域外视觉数学推理任务中表现出良好的泛化能力。

📝 摘要（中文）

图表在科学和金融文献中普遍存在，用于呈现结构化数据。然而，由于缺乏高质量的训练数据，以及需要细粒度的视觉定位和精确的数值计算，图表推理对于多模态大型语言模型（MLLM）来说仍然具有挑战性。为了解决这些挑战，我们首先提出了DuoChart，这是一个可扩展的双源数据管道，它将合成图表与真实世界图表相结合，以构建多样化、高质量的图表训练数据。然后，我们引入了CharTool，它为MLLM配备了外部工具，包括用于局部视觉感知的图像裁剪和用于精确数值推理的基于代码的计算。通过在DuoChart上进行基于Agent的强化学习，CharTool学习了基于图表内容的工具集成推理。在六个图表基准上的大量实验表明，我们的方法在模型规模上始终优于强大的MLLM基线。值得注意的是，CharTool-7B在CharXiv（推理）上优于基础模型+8.0%，在ChartQAPro上优于基础模型+9.78%，同时实现了与规模大得多或专有模型具有竞争力的性能。此外，CharTool还展示了对领域外视觉数学推理基准的积极泛化。

🔬 方法详解

问题定义：论文旨在解决多模态大型语言模型（MLLM）在图表理解任务中的不足。现有方法面临的痛点包括：缺乏高质量的图表训练数据，难以进行细粒度的视觉定位，以及在数值计算方面精度不足。这些问题限制了MLLM在图表推理方面的性能。

核心思路：论文的核心解决思路是为MLLM配备外部工具，使其能够进行更精确的视觉感知和数值计算。具体来说，引入了图像裁剪工具用于局部视觉感知，以及基于代码的计算工具用于精确数值推理。通过强化学习训练，使模型学会如何有效地利用这些工具进行图表推理。

技术框架：CharTool的整体框架包括以下几个主要模块：1) DuoChart数据生成管道，用于生成高质量的图表训练数据；2) MLLM基础模型，作为推理的主体；3) 外部工具模块，包括图像裁剪和代码计算工具；4) 基于Agent的强化学习模块，用于训练模型如何有效地利用外部工具进行推理。整个流程是，模型接收图表图像和问题，通过图像裁剪工具定位关键区域，然后利用代码计算工具进行数值计算，最终给出答案。

关键创新：论文最重要的技术创新点在于工具集成推理框架CharTool。与现有方法相比，CharTool不是简单地依赖MLLM自身的视觉和推理能力，而是通过引入外部工具来增强其能力。这种工具集成的方式使得模型能够更精确地理解图表内容，并进行更准确的数值计算。

关键设计：DuoChart数据管道的设计是关键。它结合了合成图表和真实世界图表，以保证数据的多样性和质量。强化学习的设计也至关重要，通过奖励模型正确使用工具的行为，引导模型学习有效的工具使用策略。具体的损失函数和网络结构细节在论文中应该有更详细的描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CharTool在六个图表基准测试中表现出色，显著优于现有的MLLM基线模型。例如，CharTool-7B在CharXiv（推理）上取得了+8.0%的性能提升，在ChartQAPro上取得了+9.78%的性能提升。此外，CharTool还展现了良好的泛化能力，在领域外的视觉数学推理基准测试中也取得了有竞争力的结果。这些实验结果充分证明了CharTool的有效性和优越性。

🎯 应用场景

CharTool具有广泛的应用前景，可应用于金融报告分析、科学数据解读、商业智能等领域。通过提升图表理解能力，可以帮助用户更高效地从图表中提取信息，做出更明智的决策。未来，该技术有望应用于自动化报告生成、智能数据分析等领域，具有重要的实际价值和深远的影响。

📄 摘要（原文）

Charts are ubiquitous in scientific and financial literature for presenting structured data. However, chart reasoning remains challenging for multimodal large language models (MLLMs) due to the lack of high-quality training data, as well as the need for fine-grained visual grounding and precise numerical computation. To address these challenges, we first propose DuoChart, a scalable dual-source data pipeline that combines synthesized charts with real-world charts to construct diverse, high-quality chart training data. We then introduce CharTool, which equips MLLMs with external tools, including image cropping for localized visual perception and code-based computation for accurate numerical reasoning. Through agentic reinforcement learning on DuoChart, CharTool learns tool-integrated reasoning grounded in chart content. Extensive experiments on six chart benchmarks show that our method consistently improves over strong MLLM baselines across model scales. Notably, CharTool-7B outperforms the base model by +8.0% on CharXiv (Reasoning) and +9.78% on ChartQAPro, while achieving competitive performance with substantially larger or proprietary models. Moreover, CharTool demonstrates positive generalization to out-of-domain visual math reasoning benchmarks.