A Cost-Effective LLM-based Approach to Identify Wildlife Trafficking in Online Marketplaces
作者: Juliana Barbosa, Ulhas Gondhali, Gohar Petrossian, Kinshuk Sharma, Sunandan Chakraborty, Jennifer Jacquet, Juliana Freire
分类: cs.LG, cs.AI
发布日期: 2025-04-29
DOI: 10.1145/3725256
💡 一句话要点
提出一种低成本的基于LLM的方法，用于识别在线市场中的野生动物非法交易。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 野生动物非法交易 在线市场 大型语言模型 伪标签 分类器
📋 核心要点
- 在线市场中识别野生动物非法交易广告面临数据稀疏和标注成本高昂的挑战，传统分类器难以有效应用。
- 该论文提出利用LLM生成伪标签，并基于少量数据训练专业分类器，降低标注成本并提高识别准确率。
- 实验结果表明，该方法训练的分类器F1值高达95%，优于直接使用LLM进行标注，并展示了实际应用案例。
📝 摘要（中文）
野生动物非法交易仍然是一个重要的全球性问题，严重影响生物多样性、生态稳定性和公共健康。尽管人们努力打击这种非法贸易，但电子商务平台的兴起使得销售野生动物产品变得更加容易，给濒危和受威胁物种的野生种群带来了新的压力。这些平台的使用也开启了一个新的机会：当犯罪分子在网上销售野生动物产品时，他们会留下数字痕迹，这些痕迹可以提供对非法交易活动的洞察，以及如何扰乱这些活动。挑战在于找到这些痕迹。在线市场发布了大量产品的广告，识别野生动物相关产品的广告就像大海捞针。学习分类器可以自动识别广告，但创建它们需要耗时且成本高昂的数据标记，这阻碍了对各种广告和研究问题的支持。本文解决了野生动物非法交易分析的数据科学流程中的一个关键挑战：为选择相关数据的分类器生成高质量的标记数据。虽然大型语言模型（LLM）可以直接标记广告，但大规模这样做成本高昂。我们提出了一种经济高效的策略，该策略利用LLM为少量数据生成伪标签，并使用这些标签来创建专门的分类模型。我们提出的新方法自动收集多样且具有代表性的样本进行标记，同时最大限度地降低标记成本。我们的实验评估表明，我们的分类器实现了高达95%的F1分数，优于LLM，且成本更低。我们展示了真实的用例，证明了我们的方法在分析野生动物非法交易的不同方面方面的有效性。
🔬 方法详解
问题定义：论文旨在解决在线市场中野生动物非法交易广告难以识别的问题。现有方法依赖于人工标注数据训练分类器，但由于广告数量庞大且类别繁多，人工标注成本高昂且效率低下，难以支持对各种广告和研究问题的快速响应。直接使用LLM进行标注虽然可行，但成本仍然过高。
核心思路：论文的核心思路是利用LLM的强大语义理解能力，以较低的成本为少量数据生成伪标签，然后使用这些伪标签训练专门的分类模型。这样既可以利用LLM的知识，又可以避免直接使用LLM进行大规模标注带来的高昂成本。通过精心设计的采样策略，保证用于生成伪标签的数据具有代表性和多样性。
技术框架：该方法主要包含以下几个阶段：1) 数据采样：从海量广告数据中选择具有代表性和多样性的样本。2) 伪标签生成：使用LLM为选定的样本生成伪标签。3) 模型训练：使用带有伪标签的数据训练专门的分类模型。4) 模型评估：评估分类模型在识别野生动物非法交易广告方面的性能。
关键创新：该方法最重要的创新点在于提出了一种低成本、高效的利用LLM进行数据标注的策略。与直接使用LLM进行标注相比，该方法显著降低了标注成本，同时保证了分类模型的性能。此外，自动采样策略保证了用于生成伪标签的数据具有代表性和多样性，从而提高了分类模型的泛化能力。
关键设计：论文中没有详细描述具体的参数设置、损失函数或网络结构等技术细节。但是，关键在于如何设计采样策略，以保证选取的样本能够代表整个数据集，并且能够覆盖各种类型的野生动物非法交易广告。此外，如何选择合适的LLM以及如何设计prompt，以获得高质量的伪标签也是关键的设计考虑。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法训练的分类器在识别野生动物非法交易广告方面取得了显著的性能提升，F1值高达95%，优于直接使用LLM进行标注。该方法在保证性能的同时，显著降低了标注成本，为大规模应用提供了可能。实际用例展示了该方法在分析野生动物非法交易不同方面的有效性。
🎯 应用场景
该研究成果可应用于各类电商平台和在线市场，自动识别和标记潜在的野生动物非法交易广告，协助执法部门打击非法贸易，保护濒危物种。该方法也可推广到其他需要大规模数据标注的领域，例如欺诈检测、垃圾邮件过滤等。
📄 摘要（原文）
Wildlife trafficking remains a critical global issue, significantly impacting biodiversity, ecological stability, and public health. Despite efforts to combat this illicit trade, the rise of e-commerce platforms has made it easier to sell wildlife products, putting new pressure on wild populations of endangered and threatened species. The use of these platforms also opens a new opportunity: as criminals sell wildlife products online, they leave digital traces of their activity that can provide insights into trafficking activities as well as how they can be disrupted. The challenge lies in finding these traces. Online marketplaces publish ads for a plethora of products, and identifying ads for wildlife-related products is like finding a needle in a haystack. Learning classifiers can automate ad identification, but creating them requires costly, time-consuming data labeling that hinders support for diverse ads and research questions. This paper addresses a critical challenge in the data science pipeline for wildlife trafficking analytics: generating quality labeled data for classifiers that select relevant data. While large language models (LLMs) can directly label advertisements, doing so at scale is prohibitively expensive. We propose a cost-effective strategy that leverages LLMs to generate pseudo labels for a small sample of the data and uses these labels to create specialized classification models. Our novel method automatically gathers diverse and representative samples to be labeled while minimizing the labeling costs. Our experimental evaluation shows that our classifiers achieve up to 95% F1 score, outperforming LLMs at a lower cost. We present real use cases that demonstrate the effectiveness of our approach in enabling analyses of different aspects of wildlife trafficking.