From Pen to Pixel: Translating Hand-Drawn Plots into Graphical APIs via a Novel Benchmark and Efficient Adapter

📄 arXiv: 2603.26356v1 📥 PDF

作者: Zhenghao Xu, Mengning Yang

分类: cs.CV

发布日期: 2026-03-27

💡 一句话要点

提出HDpy-13数据集和Plot-Adapter，提升手绘图到图形API的推荐效果。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 手绘图识别 图形API推荐 适配器网络 数据集构建 轻量级模型

📋 核心要点

  1. 现有Plot2API模型在手绘图API推荐方面表现不佳，主要原因是领域差异和缺乏相关专业知识。
  2. 论文提出HDpy-13数据集，并设计Plot-Adapter，通过轻量级CNN和投影矩阵共享来提升模型性能并降低计算成本。
  3. 实验结果表明，HDpy-13数据集和Plot-Adapter均能有效提升手绘图API推荐的准确性和效率。

📝 摘要（中文）

本文旨在帮助非专业人士和初学者通过神经网络，利用参考绘图图像直接推荐图形API，从而创建他们想要的绘图。现有Plot2API工作主要集中于标准绘图图像的推荐，忽略了非专业人士更容易获得的手绘绘图图像。由于领域差距和专业知识的缺乏，在标准绘图图像上训练的Plot2API模型和强大的多模态大型语言模型难以有效地推荐手绘绘图图像的API。为了方便非专业人士和初学者，我们引入了一个名为HDpy-13的手绘绘图数据集，以提高手绘绘图图像的图形API推荐性能。此外，为了缓解Plot2API中多领域和多语言挑战带来的参数增长和计算资源成本压力，我们提出了Plot-Adapter，它允许训练和存储单独的适配器，而不是为每种语言和领域都需要一个完整的模型。Plot-Adapter包含一个轻量级的CNN块，以提高捕获局部特征的能力，并实现投影矩阵共享，以进一步减少微调参数的数量。实验结果证明了HDpy-13的有效性和Plot-Adapter的效率。

🔬 方法详解

问题定义：论文旨在解决手绘图到图形API推荐的问题。现有方法主要针对标准绘图图像，忽略了手绘图，导致模型在手绘图上的性能显著下降。现有方法要么需要为每个领域或语言训练一个完整的模型，导致参数量巨大，计算成本高昂，要么无法有效提取手绘图的特征。

核心思路：论文的核心思路是利用适配器（Adapter）结构，针对手绘图领域进行特定优化，同时保持模型主体不变，从而避免了为每个领域训练完整模型的开销。通过引入轻量级CNN模块增强局部特征提取能力，并采用投影矩阵共享机制进一步减少微调参数。

技术框架：整体框架包含图像编码器（Image Encoder）、适配器模块（Plot-Adapter）和API解码器（API Decoder）。图像编码器负责提取输入图像的视觉特征，Plot-Adapter负责将视觉特征转换为适合API解码器的表示，API解码器则根据转换后的特征生成推荐的API。训练过程中，图像编码器和API解码器保持不变，只训练Plot-Adapter。

关键创新：论文的关键创新在于Plot-Adapter的设计，它是一种轻量级的、可插拔的模块，能够有效地适应不同的领域和语言。通过轻量级CNN模块增强了对局部特征的捕获能力，这对于手绘图的识别至关重要。投影矩阵共享机制进一步减少了微调参数，降低了计算成本。

关键设计：Plot-Adapter包含一个轻量级的CNN块，用于提取局部特征。该CNN块的结构未知，但其目的是增强模型对图像细节的感知能力。此外，论文采用了投影矩阵共享机制，具体实现方式未知，但其目的是减少微调参数的数量，从而降低计算成本和存储需求。损失函数和训练策略等其他技术细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HDpy-13数据集能够有效提升手绘图API推荐的性能。Plot-Adapter在保持性能的同时，显著降低了参数量和计算成本。具体的性能提升幅度未知，但论文强调了HDpy-13的有效性和Plot-Adapter的效率。

🎯 应用场景

该研究成果可应用于数据可视化工具、教育软件和绘图辅助应用等领域。通过将手绘草图转化为可执行的代码，可以降低数据可视化的门槛，方便非专业人士进行数据分析和探索。未来，该技术有望集成到更广泛的AI辅助设计工具中，实现更智能、更便捷的图形生成。

📄 摘要（原文）

As plots play a critical role in modern data visualization and analysis, Plot2API is launched to help non-experts and beginners create their desired plots by directly recommending graphical APIs from reference plot images by neural networks. However, previous works on Plot2API have primarily focused on the recommendation for standard plot images, while overlooking the hand-drawn plot images that are more accessible to non-experts and beginners. To make matters worse, both Plot2API models trained on standard plot images and powerful multi-modal large language models struggle to effectively recommend APIs for hand-drawn plot images due to the domain gap and lack of expertise. To facilitate non-experts and beginners, we introduce a hand-drawn plot dataset named HDpy-13 to improve the performance of graphical API recommendations for hand-drawn plot images. Additionally, to alleviate the considerable strain of parameter growth and computational resource costs arising from multi-domain and multi-language challenges in Plot2API, we propose Plot-Adapter that allows for the training and storage of separate adapters rather than requiring an entire model for each language and domain. In particular, Plot-Adapter incorporates a lightweight CNN block to improve the ability to capture local features and implements projection matrix sharing to reduce the number of fine-tuning parameters further. Experimental results demonstrate both the effectiveness of HDpy-13 and the efficiency of Plot-Adapter.