Hespi: A pipeline for automatically detecting information from hebarium specimen sheets
作者: Robert Turnbull, Emily Fitzgerald, Karen Thompson, Joanne L. Birch
分类: cs.CV, cs.AI, cs.IR
发布日期: 2024-10-11 (更新: 2025-07-09)
备注: 15 pages, 7 figures
💡 一句话要点
Hespi：一种自动检测植物标本信息的数据提取流水线
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 植物标本 信息提取 计算机视觉 目标检测 光学字符识别 手写文本识别 大型语言模型
📋 核心要点
- 现有植物标本数据提取依赖人工转录，效率低下，难以满足生物多样性研究对数据量的需求。
- Hespi利用计算机视觉技术，自动检测标本页面组成和标签字段，并结合OCR、HTR和LLM进行信息提取和校正。
- Hespi具有模块化设计，支持用户自定义模型训练和集成，适用于不同国际植物标本的数据提取任务。
📝 摘要（中文）
与标本相关的生物多样性数据对于生物、环境和保护科学至关重要。为了高效地从标本图像中提取数据，需要一种超越人工转录的方法。我们开发了`Hespi'（HErbarium Specimen sheet PIpeline），它利用先进的计算机视觉技术从植物标本的主标签中提取预编目数据。Hespi集成了两个目标检测模型：一个用于检测标本页面的组成部分，另一个用于检测主标签上的字段。它将标签分类为印刷体、打字体、手写体或混合体，并使用光学字符识别（OCR）和手写文本识别（HTR）进行提取。然后，根据权威的分类数据库校正文本，并使用多模态大型语言模型（LLM）进行优化。Hespi能够准确地检测和提取来自国际植物标本的标本页面的文本，并且其模块化设计允许用户训练和集成自定义模型。
🔬 方法详解
问题定义：目前从植物标本图像中提取数据的过程主要依赖人工转录，速度慢、成本高，且容易出错。现有的方法难以满足大规模生物多样性研究对标本数据的需求，因此需要一种自动化的数据提取方案。
核心思路：Hespi的核心思路是利用计算机视觉技术自动识别标本页面上的关键信息区域（如标签），然后使用OCR和HTR技术提取文本，最后利用大型语言模型进行校正和优化。这种方法旨在减少人工干预，提高数据提取的效率和准确性。
技术框架：Hespi的整体架构是一个流水线，包含以下主要模块：1) 页面组件检测：使用目标检测模型检测标本页面的组成部分，如标签、图像等；2) 标签字段检测：使用另一个目标检测模型检测主标签上的字段，如采集人、采集地点等；3) 文本识别：根据标签类型（印刷体、打字体、手写体等）选择合适的OCR或HTR引擎进行文本提取；4) 文本校正：使用权威的分类数据库和多模态大型语言模型对提取的文本进行校正和优化。
关键创新：Hespi的关键创新在于其集成了多种技术，包括目标检测、OCR、HTR和LLM，形成了一个完整的自动化数据提取流水线。与传统方法相比，Hespi能够更高效、更准确地从植物标本图像中提取信息。此外，Hespi的模块化设计允许用户根据需要定制和扩展流水线。
关键设计：Hespi使用了两个目标检测模型，分别用于检测页面组件和标签字段。具体使用的目标检测模型类型未知，但论文强调了其模块化设计，允许用户根据实际情况选择和训练不同的模型。文本校正阶段使用了多模态大型语言模型，但具体的模型架构和训练细节未知。损失函数和网络结构等细节未在摘要中提及。
🖼️ 关键图片
📊 实验亮点
Hespi能够准确地检测和提取来自国际植物标本的标本页面的文本。虽然摘要中没有提供具体的性能数据，但强调了其在不同类型的标本上的适用性，以及模块化设计带来的灵活性。Hespi通过集成OCR、HTR和LLM，显著提升了数据提取的准确性和效率，优于传统的人工转录方法。
🎯 应用场景
Hespi可应用于大规模植物标本数字化项目，加速生物多样性数据的获取和利用。该技术能够支持植物分类学、生态学、保护生物学等领域的研究，例如物种分布建模、气候变化影响评估和保护策略制定。未来，Hespi有望扩展到其他类型的标本数据提取，促进生物多样性研究的自动化和智能化。
📄 摘要（原文）
Specimen-associated biodiversity data are crucial for biological, environmental, and conservation sciences. A rate shift is needed to extract data from specimen images efficiently, moving beyond human-mediated transcription. We developed `Hespi' (HErbarium Specimen sheet PIpeline) using advanced computer vision techniques to extract pre-catalogue data from primary specimen labels on herbarium specimens. Hespi integrates two object detection models: one for detecting the components of the sheet and another for fields on the primary primary specimen label. It classifies labels as printed, typed, handwritten, or mixed and uses Optical Character Recognition (OCR) and Handwritten Text Recognition (HTR) for extraction. The text is then corrected against authoritative taxon databases and refined using a multimodal Large Language Model (LLM). Hespi accurately detects and extracts text from specimen sheets across international herbaria, and its modular design allows users to train and integrate custom models.