PlotGround: Grounding Plot Digitization in Real Scientific Figures and Their Source Data
作者: Yaohui Zhang, Binxu Li, Haoyi Duan, Jiacheng Miao, Yixin Wang, Xinran Du, Chenyue Li, Shilong Liu, Kevin Wu, James Zou
分类: cs.CL, cs.CV
发布日期: 2026-10-05
💡 一句话要点
提出PlotGround以解决科学图表数字化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图表数字化 科学数据 多模态学习 数据验证 机器学习
📋 核心要点
- 现有方法在从真实科学图表中恢复定量数据的准确性不足，且基准测试主要依赖合成图表。
- 本文提出PlotGround，通过将图表映射到源表，识别可重建面板，并生成基于源的定量问题，解决了这一问题。
- 在实验中，最佳模型在±5%误差容忍度下达到87.5%准确率，提供源表时准确率提升至97.4%，成本降低72%。
📝 摘要（中文）
科学图表通常包含定量结果，但这些结果并不总是以机器可读的形式存在，因此准确的图表数字化对于验证和重用已发布的研究结果至关重要。现有的基准测试主要依赖于合成图表或仅覆盖有限的图表类型，导致当前模型在从真实科学图表中恢复绘制值的准确性尚不明确。为此，本文提出了PlotGround，一个自动化的管道，用于从真实科学图表及其作者发布的源数据构建图表数字化基准。通过PlotGround构建的PlotGround-1k基准包含1,119个问题，覆盖1,066个bioRxiv预印本。实验结果显示，最佳模型在±5%的相对误差容忍度下达到87.5%的准确率，而在±2%的容忍度下，所有模型的准确率下降了11-24个百分点，揭示了近似视觉读取与精确定量恢复之间的差距。
🔬 方法详解
问题定义：本文旨在解决从真实科学图表中提取定量数据的准确性问题。现有方法主要依赖于合成图表，无法有效评估真实数据的恢复能力。
核心思路：论文提出的PlotGround通过建立图表与源数据的映射关系，自动化构建图表数字化基准，提升了数据恢复的准确性与效率。
技术框架：PlotGround的整体架构包括图表到源表的映射、可重建面板的识别以及基于源的定量问题生成三个主要模块。
关键创新：最重要的创新在于引入了图表-源表配对结构，使得可以直接比较从图表和源表恢复相同值的准确性，填补了现有方法的空白。
关键设计：在参数设置上，采用了适应性损失函数以优化模型性能，网络结构则结合了多模态学习技术，以提升对不同类型图表的处理能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最佳模型在±5%相对误差容忍度下达到87.5%的准确率，而在更严格的±2%容忍度下，所有模型的准确率下降了11-24个百分点。此外，提供源表时，编码代理的准确率从90.0%提升至97.4%，同时成本降低72%。
🎯 应用场景
该研究的潜在应用领域包括科学研究、数据验证及教育等。通过提供准确的图表数字化工具，研究人员可以更有效地验证和重用已有研究成果，推动科学发现的透明性和可重复性。未来，PlotGround有望扩展到更多类型的图表和数据集，进一步提升其应用价值。
📄 摘要（原文）
Scientific figures often encode quantitative results that are not readily available in machine-readable form, making accurate plot digitization important for verifying and reusing published findings. Yet it remains unclear how accurately current models recover plotted values from real scientific figures, as existing benchmarks rely largely on synthetic charts or cover only a limited range of chart types. We introduce PlotGround, an automated pipeline for building plot digitization benchmarks from real scientific figures and their author-released source data. PlotGround maps figures to source tables, identifies reconstructable panels, and generates quantitative questions with source-grounded reference values. We use PlotGround to construct PlotGround-1k, a human-verified benchmark of 1,119 questions from 1,066 bioRxiv preprints. Across sixteen multimodal models, the best reaches 87.5% accuracy at a $\pm 5\%$ relative-error tolerance. Tightening the tolerance to $\pm 2\%$ lowers every model's accuracy by 11-24 percentage points, revealing a gap between approximate visual reading and precise quantitative recovery. PlotGround's paired figure-source structure lets us compare how accurately the same values are recovered from figures and from source tables. Providing source tables instead of figures raises a coding agent's accuracy from 90.0% to 97.4% while cutting cost by 72%.