Chart-R1: Chain-of-Thought Supervision and Reinforcement for Advanced Chart Reasoner
作者: Lei Chen, Xuanle Zhao, Zhixiong Zeng, Jing Huang, Yufeng Zhong, Lin Ma
分类: cs.AI, cs.CV
发布日期: 2025-07-21 (更新: 2025-08-07)
备注: technical report
💡 一句话要点
提出Chart-R1，通过思维链监督和强化学习提升图表推理能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图表推理 视觉语言模型 强化学习 思维链 多模态学习
📋 核心要点
- 现有方法在图表推理方面缺乏有效的推理数据，且难以处理复杂的推理任务。
- Chart-R1通过程序化数据合成生成高质量推理数据，并采用两阶段训练策略提升推理能力。
- 实验表明，Chart-R1在图表推理任务上表现出色，可与GPT-4o等大型模型媲美。
📝 摘要（中文）
受OpenAI-o1/o3和Deepseek-R1启发，基于强化学习微调的R1-Style方法受到了广泛关注。以往的R1-Style方法主要集中在数学推理和代码智能领域。验证其在更通用的多模态数据上的优势具有重要的研究意义。图表是一种包含丰富信息的重要多模态数据类型，在复杂推理方面带来了重要的研究挑战。本文提出了Chart-R1，一种基于强化学习微调的图表领域视觉语言模型，旨在实现复杂的图表推理。为了支持Chart-R1，首先提出了一种新颖的程序化数据合成技术，用于生成高质量的逐步图表推理数据，涵盖单图表和多子图表，弥补了图表领域推理数据的不足。然后，开发了一种两阶段训练策略：带有逐步思维链监督的Chart-COT和带有数值敏感强化微调的Chart-RFT。Chart-COT旨在通过逐步监督将复杂的图表推理任务分解为细粒度的、易于理解的子任务，为提高强化学习的推理水平奠定良好的基础。Chart-RFT利用典型的群体相对策略优化策略，其中对数值响应采用相对柔和的奖励，以强调图表领域中的数值敏感性。在开源基准和自建图表推理数据集（即ChartRQA）上进行了大量实验。实验结果表明，与图表领域的方法相比，Chart-R1具有显著的优势，甚至可以与开源/闭源的大规模模型（例如GPT-4o、Claude-3.5）相媲美。
🔬 方法详解
问题定义：论文旨在解决现有图表推理模型在复杂推理任务上的不足，以及缺乏高质量图表推理数据的问题。现有方法难以有效分解复杂推理任务，且对数值的敏感性不足。
核心思路：论文的核心思路是利用思维链（Chain-of-Thought, COT）监督和强化学习（Reinforcement Learning Fine-Tuning, RFT）相结合的方法，提升模型在图表推理任务中的性能。通过COT将复杂任务分解为子任务，再利用RFT进行数值敏感的微调。
技术框架：Chart-R1的训练分为两个阶段：Chart-COT和Chart-RFT。Chart-COT阶段使用程序化生成的数据进行思维链监督训练，将复杂推理分解为多个步骤。Chart-RFT阶段利用强化学习对模型进行微调，特别关注数值的准确性。整体流程是先通过COT学习推理步骤，再通过RFT优化数值输出。
关键创新：论文的关键创新在于：1) 提出了一种程序化的数据合成技术，用于生成高质量的图表推理数据，解决了数据稀缺问题。2) 结合了思维链监督和强化学习微调，提升了模型在复杂图表推理任务中的性能，并增强了数值敏感性。
关键设计：在Chart-COT阶段，使用交叉熵损失函数进行监督学习，目标是预测每一步的推理步骤。在Chart-RFT阶段，采用群体相对策略优化（Group Relative Policy Optimization）策略，并设计了数值敏感的奖励函数，对数值预测的准确性给予更高的奖励。具体奖励函数的设计未知。
🖼️ 关键图片
📊 实验亮点
Chart-R1在自建数据集ChartRQA和开源基准测试中表现出显著优势，性能超越了现有的图表领域方法，甚至可以与GPT-4o、Claude-3.5等大型模型相媲美。具体的性能提升数据未知，但结果表明Chart-R1在图表推理方面具有很强的竞争力。
🎯 应用场景
Chart-R1可应用于商业智能、数据分析、金融报告解读等领域，帮助用户更高效地理解和利用图表信息。该研究的突破将推动视觉语言模型在多模态数据理解和推理方面的应用，并有望在教育、医疗等领域发挥重要作用。
📄 摘要（原文）
Recently, inspired by OpenAI-o1/o3 and Deepseek-R1, the R1-Style method based on reinforcement learning fine-tuning has received widespread attention from the community. Previous R1-Style methods mainly focus on mathematical reasoning and code intelligence. It is of great research significance to verify their advantages on more general multimodal data. Chart is an important multimodal data type with rich information, which brings important research challenges in complex reasoning. In this work, we introduce Chart-R1, a chart-domain vision-language model with reinforcement learning fine-tuning to enable complex chart reasoning. To support Chart-R1, we first propose a novel programmatic data synthesis technology to generate high-quality step-by-step chart reasoning data covering single- and multi-subcharts, which makes up for the lack of reasoning data in the chart domain. Then we develop a two-stage training strategy: Chart-COT with step-by-step chain-of-thought supervision, and Chart-RFT with numerically sensitive reinforcement fine-tuning. Chart-COT aims to decompose complex chart reasoning tasks into fine-grained, understandable subtasks through step-by-step supervision, which lays a good foundation for improving the reasoning level of reinforcement learning. Chart-RFT utilize the typical group relative policy optimization strategy, in which a relatively soft reward is adopted for numerical response to emphasize the numerical sensitivity in the chart domain. We conduct extensive experiments on open-source benchmarks and self-built chart reasoning dataset (\emph{i.e., ChartRQA}). Experimental results show that Chart-R1 has significant advantages compared to chart-domain methods, even comparable to open/closed source large-scale models (\emph{e.g., GPT-4o, Claude-3.5}).