Quantification of Biodiversity from Historical Survey Text with LLM-based Best-Worst Scaling

📄 arXiv: 2502.04022v1 📥 PDF

作者: Thomas Haider, Tobias Perschl, Malte Rehbein

分类: cs.CL

发布日期: 2025-02-06

备注: NoDaLiDa 2025, EcoNLP Workshop

💡 一句话要点

利用LLM和Best-Worst Scaling从历史文本中量化生物多样性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生物多样性 历史文本分析 大型语言模型 Best-Worst Scaling 物种频率估计

📋 核心要点

  1. 现有物种频率估计方法成本高昂且不够自动化，难以处理大规模历史文本数据。
  2. 论文提出使用LLM和Best-Worst Scaling将物种频率估计转化为回归问题，降低成本并提高自动化程度。
  3. 实验表明，DeepSeek-V3和GPT-4在物种频率估计方面与人类具有较高的一致性，效果显著。

📝 摘要（中文）

本研究评估了从历史调查文本中通过数量估计确定物种频率的方法。为此，我们将问题形式化为分类任务，并最终表明，使用基于大型语言模型（LLM）的Best-Worst Scaling（BWS）可以将此问题充分地构建为回归任务。我们测试了Ministral-8B、DeepSeek-V3和GPT-4，发现后两者与人类以及彼此之间具有合理的一致性。我们的结论是，与细粒度的多类方法相比，这种方法更具成本效益，并且具有相似的鲁棒性，从而可以自动进行跨物种的数量估计。

🔬 方法详解

问题定义：论文旨在解决从历史调查文本中自动量化物种频率的问题。传统方法依赖人工标注，成本高昂且效率低下，难以处理大规模的历史文本数据。现有的多分类方法需要细粒度的标签，标注难度大，且模型容易混淆相似的频率等级。

核心思路：论文的核心思路是将物种频率估计问题转化为一个回归问题，并利用Best-Worst Scaling (BWS) 方法来训练大型语言模型 (LLM)。BWS通过让模型选择文本中描述物种频率的最常见和最不常见的描述，从而间接地学习物种频率的相对排序。这种方法避免了直接预测具体的频率等级，降低了任务的难度。

技术框架：整体框架包括以下几个步骤：1) 数据收集：收集包含物种信息的历史调查文本。2) 数据预处理：对文本进行清洗和格式化。3) BWS数据生成：根据文本生成BWS所需的成对比较数据，即选择文本中描述物种频率的最常见和最不常见的描述。4) LLM训练：使用生成的BWS数据训练LLM，使其能够预测给定文本中物种频率的相对排序。5) 频率估计：使用训练好的LLM对新的文本进行预测，得到物种频率的估计值。

关键创新：该论文的关键创新在于将Best-Worst Scaling (BWS) 方法与大型语言模型 (LLM) 结合，用于解决历史文本中的物种频率估计问题。与传统的多分类方法相比，BWS方法只需要模型学习相对排序，降低了任务的难度，并且更加鲁棒。此外，利用LLM强大的文本理解能力，可以更好地处理历史文本中的复杂语言和上下文信息。

关键设计：论文中使用了Ministral-8B, DeepSeek-V3, 和 GPT-4 三种不同的 LLM 模型进行实验。BWS 的具体实现方式是，对于每个文本片段，模型需要从多个候选的频率描述中选择最常见和最不常见的描述。损失函数的设计目标是使得模型能够正确地排序这些描述，即最常见的描述应该得到更高的分数，最不常见的描述应该得到更低的分数。具体的损失函数形式未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DeepSeek-V3和GPT-4在物种频率估计方面与人类具有较高的一致性。该方法在成本效益和鲁棒性方面优于细粒度的多类方法，为自动化物种数量估计提供了一种有效途径。具体的性能数据和提升幅度未知。

🎯 应用场景

该研究成果可应用于生物多样性研究、生态环境保护、历史文献分析等领域。通过自动分析历史文本，可以更高效地了解物种分布和数量变化，为制定保护策略提供数据支持。此外，该方法还可以推广到其他领域，例如从医疗记录中提取疾病频率信息，或从新闻报道中分析事件发生频率。

📄 摘要（原文）

In this study, we evaluate methods to determine the frequency of species via quantity estimation from historical survey text. To that end, we formulate classification tasks and finally show that this problem can be adequately framed as a regression task using Best-Worst Scaling (BWS) with Large Language Models (LLMs). We test Ministral-8B, DeepSeek-V3, and GPT-4, finding that the latter two have reasonable agreement with humans and each other. We conclude that this approach is more cost-effective and similarly robust compared to a fine-grained multi-class approach, allowing automated quantity estimation across species.