ChartEvo: Self-Evolving Agent Harnesses for Long-Tail Chart Reasoning

📄 arXiv: 2610.28282v1 📥 PDF

作者: Qi Wang, Peijie Wang, Jun Cao, Haoyang Tong, Xiao-Hui Li, Fei Yin, Cheng-Lin Liu

分类: cs.AI, cs.CV

发布日期: 2026-10-20

💡 一句话要点

提出ChartEvo以解决长尾图表推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长尾图表 图表推理 多模态大型语言模型 递归自我改进 数据可视化 工具增强代理

📋 核心要点

  1. 现有的多模态大型语言模型在长尾图表推理中表现不佳，尤其是在视觉结构和推理需求多样的情况下。
  2. 本文提出ChartEvo框架，通过递归自我改进，使图表代理能够适应表现不佳的图表类型，提升推理能力。
  3. 实验结果表明，ChartEvo在长尾图表上相较于基线模型Qwen3.7-Plus，准确性分别提高了45.6%和32.5%。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在图表理解和推理方面取得了显著进展，但在不同图表类型上的表现仍然不均衡。尽管现代MLLM在常见图表上表现良好，但在具有多样化视觉结构和推理需求的长尾图表上，其准确性显著下降。工具增强代理可以通过引入专业的视觉能力来改善复杂图表推理，但为异构和不断演变的长尾图表手动设计策略和工具难以扩展。本文提出了ChartEvo，一个递归自我改进框架，使图表代理能够通过经验驱动的自我改进适应表现不佳的图表类型。ChartEvo共同演化可重用的图表特定技能和可执行工具，同时学习可重用的局部工具调用链，以组合演化能力并控制工具增强推理的推理开销。在ChartBench和ChartX的长尾图表上，ChartEvo相较于基础MLLM Qwen3.7-Plus，准确性分别提高了45.6%和32.5%，展示了递归自我改进在长尾图表适应中的有效性。

🔬 方法详解

问题定义：本文旨在解决多模态大型语言模型在长尾图表推理中的表现不均衡问题，现有方法在面对多样化的视觉结构和推理需求时准确性显著下降。

核心思路：ChartEvo框架通过递归自我改进，使图表代理能够根据经验不断适应和优化，提升对长尾图表的推理能力。

技术框架：ChartEvo的整体架构包括两个主要模块：可重用的图表特定技能和可执行工具的演化，以及局部工具调用链的学习，旨在组合演化能力并控制推理开销。

关键创新：最重要的技术创新在于递归自我改进机制，使得图表代理能够在不断变化的长尾图表环境中自我适应和优化，与传统方法相比，具有更高的灵活性和适应性。

关键设计：在设计中，ChartEvo采用了可重用的技能和工具，结合局部工具调用链的学习，确保了推理过程中的高效性和准确性，同时在参数设置和损失函数上进行了优化，以适应不同类型的图表。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，ChartEvo在长尾图表上的准确性显著提升，分别达到了45.6%和32.5%的提升幅度，超越了基线模型Qwen3.7-Plus。这一结果证明了递归自我改进在复杂推理任务中的有效性，展示了其在实际应用中的潜力。

🎯 应用场景

ChartEvo的研究成果具有广泛的应用潜力，尤其是在数据可视化、商业智能和科学研究等领域。通过提升长尾图表的推理能力，能够帮助用户更好地理解复杂数据，做出更为精准的决策。未来，该框架还可以扩展到其他类型的多模态数据处理任务中，推动相关领域的发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) have substantially advanced chart understanding and reasoning, yet their performance remains highly uneven across chart types. While modern MLLMs perform well on common charts, their accuracy drops sharply on long-tail charts with diverse visual structures and reasoning requirements. Tool-augmented agents can improve complex chart reasoning by introducing specialized visual capabilities, but manually engineering strategies and tools for the heterogeneous and evolving long tail is difficult to scale. We introduce \textbf{ChartEvo}, a recursive self-improvement framework that enables chart agents to adapt to underperforming chart types through experience-driven harness-level self-improvement. ChartEvo jointly evolves reusable chart-specific Skills and executable Tools, while learning reusable local tool-call chains to compose evolved capabilities and control the inference overhead of tool-augmented reasoning. On long-tail charts from ChartBench and ChartX, ChartEvo improves accuracy over its base MLLM, Qwen3.7-Plus, by \textbf{45.6\%} and \textbf{32.5\%}, respectively, demonstrating the effectiveness of recursive self-improvement for long-tail chart adaptation.