Annotate Rhetorical Relations with INCEpTION: A Comparison with Automatic Approaches

📄 arXiv: 2510.03808v1 📥 PDF

作者: Mehedi Hasan Emon

分类: cs.CL

发布日期: 2025-10-04

💡 一句话要点

利用INCEpTION工具，对比人工与自动方法，研究篇章修辞关系标注。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 修辞结构理论 语篇分析 自然语言处理 预训练语言模型 BERT DistilBERT INCEpTION 文本标注

📋 核心要点

  1. 现有语篇关系标注方法效率和准确率有待提升，尤其是在特定领域文本中。
  2. 利用INCEpTION工具进行人工标注，并对比BERT等模型自动标注的性能。
  3. 实验表明DistilBERT模型在板球新闻语篇关系分类中表现最佳，具有应用潜力。

📝 摘要（中文）

本研究探讨了使用INCEpTION工具对语篇中的修辞关系进行标注，并将人工标注与基于大型语言模型的自动方法进行了比较。研究重点是体育报道（特别是板球新闻），并评估了BERT、DistilBERT和Logistic Regression模型在分类修辞关系（如阐述、对比、背景和因果关系）方面的性能。结果表明，DistilBERT取得了最高的准确率，突显了其在高效语篇关系预测方面的潜力。这项工作促进了语篇分析和基于Transformer的自然语言处理之间日益增长的交叉。

🔬 方法详解

问题定义：论文旨在解决语篇中修辞关系自动标注的问题。现有方法，特别是传统机器学习方法，在处理复杂语篇结构和语义信息时表现不足，难以准确捕捉不同修辞关系之间的细微差别。此外，人工标注成本高昂，效率低下，因此需要高效准确的自动标注方法。

核心思路：论文的核心思路是利用预训练语言模型（BERT和DistilBERT）强大的语义理解能力，直接对语篇中的修辞关系进行分类。通过在特定领域（板球新闻）的数据集上进行微调，使模型能够更好地适应该领域的语言特点和修辞习惯。同时，通过与人工标注结果进行对比，评估自动标注方法的性能。

技术框架：整体框架包括以下几个阶段：1) 数据收集与预处理：收集板球新闻语料，并进行分句、分词等预处理操作。2) 人工标注：使用INCEpTION工具对语料进行人工标注，确定句子之间的修辞关系（如阐述、对比、背景、因果关系等）。3) 模型训练：使用BERT、DistilBERT和Logistic Regression模型在标注数据集上进行训练。4) 模型评估：使用准确率等指标评估模型的性能，并与人工标注结果进行对比。

关键创新：论文的关键创新在于将预训练语言模型应用于特定领域的语篇修辞关系标注任务，并验证了其有效性。与传统方法相比，预训练语言模型能够更好地捕捉语篇的语义信息和上下文关系，从而提高标注的准确率。此外，论文还对比了不同模型的性能，为选择合适的模型提供了参考。

关键设计：论文使用了BERT和DistilBERT两种预训练语言模型，并使用交叉熵损失函数进行训练。模型的输入是句子对，输出是句子对之间的修辞关系类别。为了提高模型的泛化能力，论文还使用了数据增强等技术。Logistic Regression模型作为基线模型，使用TF-IDF特征进行训练。

📊 实验亮点

实验结果表明，DistilBERT模型在板球新闻语篇修辞关系分类任务中取得了最高的准确率，验证了预训练语言模型在该任务中的有效性。DistilBERT在保持较高准确率的同时，计算效率也优于BERT，更适合实际应用。

🎯 应用场景

该研究成果可应用于新闻报道自动分析、智能写作辅助、教育文本理解等领域。通过自动识别语篇中的修辞关系，可以帮助用户更好地理解文本内容，提高信息检索效率，并为自然语言处理任务提供更丰富的语义信息。

📄 摘要（原文）

This research explores the annotation of rhetorical relations in discourse using the INCEpTION tool and compares manual annotation with automatic approaches based on large language models. The study focuses on sports reports (specifically cricket news) and evaluates the performance of BERT, DistilBERT, and Logistic Regression models in classifying rhetorical relations such as elaboration, contrast, background, and cause-effect. The results show that DistilBERT achieved the highest accuracy, highlighting its potential for efficient discourse relation prediction. This work contributes to the growing intersection of discourse parsing and transformer-based NLP. (This paper was conducted as part of an academic requirement under the supervision of Prof. Dr. Ralf Klabunde, Linguistic Data Science Lab, Ruhr University Bochum.) Keywords: Rhetorical Structure Theory, INCEpTION, BERT, DistilBERT, Discourse Parsing, NLP.