TextMine: Data, Evaluation Framework and Ontology-guided LLM Pipeline for Humanitarian Mine Action

📄 arXiv: 2509.15098v2 📥 PDF

作者: Chenyue Zhou, Gürkan Solmaz, Flavio Cirillo, Kiril Gashteovski, Jonathan Fürst

分类: cs.CL, cs.AI

发布日期: 2025-09-18 (更新: 2025-10-08)

💡 一句话要点

TextMine提出了一种本体指导的LLM流程，用于人道主义排雷行动中的知识提取。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人道主义排雷行动 知识提取 大型语言模型 领域本体 非结构化数据

📋 核心要点

  1. 现有HMA机构的知识隐藏在非结构化报告中，阻碍了信息共享和利用。
  2. TextMine构建数据集、评估框架和LLM流程，将非结构化报告转化为(主体、关系、客体)三元组。
  3. 实验表明，本体对齐的提示能显著提升知识提取的准确率、减少幻觉并增强格式一致性。

📝 摘要（中文）

人道主义排雷行动(HMA)旨在解决冲突地区地雷探测和清除的难题。HMA机构产生的大量拯救生命的操作知识都隐藏在非结构化报告中，限制了机构间的信息传递。为了解决这个问题，我们提出了TextMine：第一个用于HMA领域知识提取的数据集、评估框架和本体指导的大型语言模型(LLM)流程。TextMine将HMA报告结构化为(主体、关系、客体)三元组，从而创建特定领域的知识。为了确保与现实世界的关联性，我们与柬埔寨排雷行动中心(CMAC)合作创建了数据集。我们进一步引入了一种偏差感知评估框架，该框架将人工标注的三元组与LLM-as-Judge协议相结合，以减轻无参考评分中的位置偏差。实验表明，与基线模型相比，本体对齐的提示可将提取准确率提高高达44.2%，减少幻觉22.5%，并提高格式一致性20.9%。我们公开发布数据集和代码。

🔬 方法详解

问题定义：人道主义排雷行动领域积累了大量非结构化的报告数据，这些数据蕴含着重要的操作知识。然而，这些知识分散且难以访问，阻碍了不同机构之间的信息共享和经验学习。现有方法难以有效地从这些非结构化文本中提取出有用的知识，从而影响了排雷行动的效率和安全性。

核心思路：TextMine的核心思路是利用大型语言模型（LLM）的强大文本理解和生成能力，结合领域本体的指导，将非结构化的HMA报告转化为结构化的知识表示。通过将报告内容抽取为(主体、关系、客体)三元组，可以方便地进行知识存储、检索和推理，从而促进HMA领域内的知识共享和应用。

技术框架：TextMine的整体框架包含以下几个主要阶段：1) 数据集构建：与柬埔寨排雷行动中心(CMAC)合作，收集并标注HMA报告，构建领域数据集。2) 本体构建：构建HMA领域的本体，定义领域内的概念、关系和属性。3) LLM流程设计：设计基于LLM的知识提取流程，包括提示工程、模型微调和后处理等环节。4) 评估框架：设计偏差感知的评估框架，用于评估知识提取的准确性和可靠性。

关键创新：TextMine的关键创新在于将领域本体与LLM相结合，指导知识提取过程。通过本体对齐的提示，可以有效地提高LLM的知识提取准确率，减少幻觉，并增强格式一致性。此外，该研究还提出了偏差感知的评估框架，可以更准确地评估LLM在知识提取任务中的性能。

关键设计：在LLM流程设计中，采用了本体对齐的提示策略，即在提示中包含领域本体中的概念和关系信息，引导LLM生成符合领域知识的三元组。在评估框架中，结合了人工标注的三元组和LLM-as-Judge协议，以减轻位置偏差对评估结果的影响。具体参数设置和模型选择等细节在论文中进行了详细描述。

📊 实验亮点

实验结果表明，与基线模型相比，TextMine提出的本体对齐提示策略可以将知识提取准确率提高高达44.2%，减少幻觉22.5%，并提高格式一致性20.9%。这些结果表明，TextMine在HMA领域的知识提取任务中具有显著的优势。

🎯 应用场景

TextMine可应用于人道主义排雷行动领域，帮助HMA机构从大量非结构化报告中提取关键知识，提高排雷效率和安全性。该研究成果还可推广到其他领域，例如灾害救援、公共卫生等，为知识密集型任务提供有效的解决方案，促进领域知识的积累和应用。

📄 摘要（原文）

Humanitarian Mine Action (HMA) addresses the challenge of detecting and removing landmines from conflict regions. Much of the life-saving operational knowledge produced by HMA agencies is buried in unstructured reports, limiting the transferability of information between agencies. To address this issue, we propose TextMine: the first dataset, evaluation framework and ontology-guided large language model (LLM) pipeline for knowledge extraction in the HMA domain. TextMine structures HMA reports into (subject, relation, object)-triples, thus creating domain-specific knowledge. To ensure real-world relevance, we created the dataset in collaboration with Cambodian Mine Action Center (CMAC). We further introduce a bias-aware evaluation framework that combines human-annotated triples with an LLM-as-Judge protocol to mitigate position bias in reference-free scoring. Our experiments show that ontology-aligned prompts improve extraction accuracy by up to 44.2%, reduce hallucinations by 22.5%, and enhance format adherence by 20.9% compared to baseline models. We publicly release the dataset and code.