Five Years of SciCap: What We Learned and Future Directions for Scientific Figure Captioning

📄 arXiv: 2512.21789v2 📥 PDF

作者: Ting-Hao 'Kenneth' Huang, Ryan A. Rossi, Sungchul Kim, Tong Yu, Ting-Yao E. Hsu, Ho Yin, Ng, C. Lee Giles

分类: cs.CL, cs.AI, cs.CV, cs.HC

发布日期: 2025-12-25 (更新: 2026-01-15)

备注: Accepted to the 5th Annual AAAI Workshop on AI to Accelerate Science and Engineering (AI2ASE 2026). SciCap Website: http://scicap.ai/

💡 一句话要点

SciCap项目五年回顾：总结科学图像描述经验，展望未来研究方向

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学图像描述 图像字幕 领域特定训练 数据集构建 挑战赛

📋 核心要点

  1. 现有科学图像描述方法缺乏领域针对性，难以准确捕捉图像中的专业知识和细节。
  2. SciCap项目通过构建大规模领域数据集，并结合领域知识进行模型训练，提升描述质量。
  3. 项目通过年度挑战赛和交互式系统，促进了领域内研究，并帮助科学家改进图像描述。

📝 摘要（中文）

SciCap项目在2021年至2025年间，从宾夕法尼亚州立大学的一个小型种子基金项目发展成为塑造科学图像描述领域的核心力量之一。在宾夕法尼亚州立大学种子基金、Adobe和Alfred P. Sloan基金会的支持下，最初我们试图验证在SciBERT等文本模型中成功的领域特定训练方法是否也适用于图像描述，后来扩展为多机构合作。在这五年中，我们整理、发布并不断更新了来自arXiv论文的大量图像-描述对，对生成和作者撰写的描述进行了广泛的自动和人工评估，经历了大型语言模型（LLM）的快速崛起，发起了年度挑战赛，并构建了帮助科学家撰写更好描述的交互式系统。本文回顾了SciCap的头五年，总结了我们学到的关键技术和方法论经验。然后，我们概述了五个主要的未解决挑战，并为科学图像描述的下一阶段研究提出了方向。

🔬 方法详解

问题定义：论文旨在解决科学图像的自动描述问题，现有方法通常泛化能力较弱，无法准确捕捉科学图像中的专业术语、实验设置和数据关系。此外，缺乏高质量的科学图像描述数据集也是一个重要瓶颈。

核心思路：论文的核心思路是利用领域特定的数据和知识来训练图像描述模型，类似于SciBERT在文本领域的成功。通过构建大规模的科学图像-描述对数据集，并结合领域专家的反馈，提升模型在科学图像描述任务上的性能。

技术框架：SciCap项目主要包含以下几个阶段：1) 数据收集与整理：从arXiv论文中提取图像和对应的描述，构建大规模数据集。2) 模型训练与评估：使用各种图像描述模型（包括基于CNN和Transformer的模型）在SciCap数据集上进行训练，并使用自动和人工评估指标进行评估。3) 挑战赛组织：举办年度SciCap挑战赛，吸引研究人员参与，推动领域发展。4) 交互式系统开发：构建交互式系统，帮助科学家撰写更好的图像描述。

关键创新：SciCap项目的关键创新在于其对科学图像描述领域的专注和系统性的研究方法。它不仅构建了大规模的领域数据集，还通过挑战赛和交互式系统促进了领域内的合作和发展。此外，项目还对不同模型的性能进行了深入的分析，为未来的研究提供了重要的参考。

关键设计：SciCap数据集的构建过程中，采用了多种数据清洗和过滤策略，以保证数据的质量。在模型训练方面，项目尝试了不同的损失函数和网络结构，并针对科学图像的特点进行了优化。挑战赛的组织也采用了严格的评估标准，以确保结果的可靠性。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

SciCap项目构建了大规模的科学图像描述数据集，并对多种图像描述模型进行了评估。实验结果表明，领域特定的训练方法可以显著提升科学图像描述的质量。此外，SciCap挑战赛吸引了众多研究人员参与，推动了领域内的技术进步。

🎯 应用场景

该研究成果可应用于科学论文的自动生成、科学知识图谱的构建、以及科学教育等领域。高质量的科学图像描述可以帮助研究人员更快地理解论文内容，促进科学知识的传播和交流。此外，该技术还可以用于辅助残疾人士理解科学图像。

📄 摘要（原文）

Between 2021 and 2025, the SciCap project grew from a small seed-funded idea at The Pennsylvania State University (Penn State) into one of the central efforts shaping the scientific figure-captioning landscape. Supported by a Penn State seed grant, Adobe, and the Alfred P. Sloan Foundation, what began as our attempt to test whether domain-specific training, which was successful in text models like SciBERT, could also work for figure captions expanded into a multi-institution collaboration. Over these five years, we curated, released, and continually updated a large collection of figure-caption pairs from arXiv papers, conducted extensive automatic and human evaluations on both generated and author-written captions, navigated the rapid rise of large language models (LLMs), launched annual challenges, and built interactive systems that help scientists write better captions. In this piece, we look back at the first five years of SciCap and summarize the key technical and methodological lessons we learned. We then outline five major unsolved challenges and propose directions for the next phase of research in scientific figure captioning.