A Comparative Analysis of Word Segmentation, Part-of-Speech Tagging, and Named Entity Recognition for Historical Chinese Sources, 1900-1950

📄 arXiv: 2503.19844v1 📥 PDF

作者: Zhao Fang, Liang-Chun Wu, Xuening Kong, Spencer Dean Stewart

分类: cs.CL, cs.AI

发布日期: 2025-03-25

备注: Accepted to NLP4DH 2025 at NAACL 2025

💡 一句话要点

对比LLM与传统NLP工具在1900-1950年历史中文文本处理中的性能，解决分词、词性标注和命名实体识别问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 历史中文文本处理 大型语言模型 分词 词性标注 命名实体识别 上下文学习 民国期刊语料库

📋 核心要点

  1. 历史中文文本的分词、词性标注和命名实体识别面临缺乏自然词界和语言演变等挑战，传统NLP工具效果有限。
  2. 论文核心在于利用LLM强大的上下文学习能力，减少对领域特定训练数据的依赖，提升历史文本处理的准确性。
  3. 实验结果表明，LLM在各项指标上均优于传统方法，尤其在处理特定文体和时间跨度文本时表现更佳。

📝 摘要（中文）

本文对比了大型语言模型（LLMs）和传统自然语言处理（NLP）工具在处理1900年至1950年间中文文本的分词、词性标注（POS）和命名实体识别（NER）任务上的性能。由于其语标文字、缺乏自然词界以及显著的语言变化，历史中文文献对文本分析提出了挑战。本文使用来自上海图书馆民国期刊语料库的样本数据集，将Jieba和spaCy等传统工具与GPT-4o、Claude 3.5和GLM系列等LLM进行了比较。结果表明，LLM在所有指标上均优于传统方法，但计算成本也高得多，突出了准确性和效率之间的权衡。此外，LLM更好地处理了诗歌等特定类型的挑战以及时间变化（即1920年之前与1920年之后的文本），表明它们的上下文学习能力可以通过减少对领域特定训练数据的需求来推进历史文本的NLP方法。

🔬 方法详解

问题定义：论文旨在解决1900-1950年间历史中文文本的分词、词性标注和命名实体识别问题。现有传统NLP工具（如Jieba和spaCy）在处理此类文本时，由于历史语言的特殊性（例如，缺乏自然词界、语言演变）以及领域知识的缺乏，性能受到限制。这些工具通常需要大量的领域特定训练数据才能达到较好的效果，而获取和标注这些数据成本高昂。

核心思路：论文的核心思路是利用大型语言模型（LLMs）强大的上下文学习能力，直接对历史中文文本进行处理，而无需进行大量的领域特定训练。LLM通过预训练学习了丰富的语言知识，能够更好地理解历史文本的上下文信息，从而提高分词、词性标注和命名实体识别的准确性。

技术框架：论文采用对比实验的方法，将LLM与传统NLP工具在同一数据集上进行比较。数据集来自上海图书馆民国期刊语料库，涵盖1900-1950年间的中文文本。使用的LLM包括GPT-4o、Claude 3.5和GLM系列。评估指标包括准确率、召回率和F1值。

关键创新：论文的关键创新在于验证了LLM在历史中文文本处理中的有效性，并证明了其上下文学习能力可以减少对领域特定训练数据的需求。这为历史文本的自动化分析提供了一种新的思路，降低了数据标注的成本。

关键设计：论文没有详细描述LLM的具体参数设置或网络结构，而是侧重于比较不同模型的性能。关键在于选择合适的LLM（如GPT-4o、Claude 3.5和GLM系列）并进行适当的prompt工程，以引导LLM完成分词、词性标注和命名实体识别任务。损失函数和优化器等细节未在论文中明确提及。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，LLM在分词、词性标注和命名实体识别等任务上均优于传统NLP工具。虽然论文没有给出具体的性能提升百分比，但强调了LLM在处理特定文体（如诗歌）和不同时间段（1920年前后）的文本时表现更佳，体现了LLM强大的泛化能力和上下文理解能力。

🎯 应用场景

该研究成果可应用于历史文献的数字化、历史研究、文化遗产保护等领域。通过提高历史文本处理的自动化程度，可以更高效地分析和利用历史文献资源，为相关研究提供更准确的数据支持。未来，该方法还可扩展到其他历史语言或特定领域的文本分析中。

📄 摘要（原文）

This paper compares large language models (LLMs) and traditional natural language processing (NLP) tools for performing word segmentation, part-of-speech (POS) tagging, and named entity recognition (NER) on Chinese texts from 1900 to 1950. Historical Chinese documents pose challenges for text analysis due to their logographic script, the absence of natural word boundaries, and significant linguistic changes. Using a sample dataset from the Shanghai Library Republican Journal corpus, traditional tools such as Jieba and spaCy are compared to LLMs, including GPT-4o, Claude 3.5, and the GLM series. The results show that LLMs outperform traditional methods in all metrics, albeit at considerably higher computational costs, highlighting a trade-off between accuracy and efficiency. Additionally, LLMs better handle genre-specific challenges such as poetry and temporal variations (i.e., pre-1920 versus post-1920 texts), demonstrating that their contextual learning capabilities can advance NLP approaches to historical texts by reducing the need for domain-specific training data.