A Training-free LLM-based Approach to General Chinese Character Error Correction

📄 arXiv: 2502.15266v2 📥 PDF

作者: Houquan Zhou, Bo Zhang, Zhenghua Li, Ming Yan, Min Zhang

分类: cs.CL

发布日期: 2025-02-21 (更新: 2025-06-16)

备注: Accepted at Main Conference of ACL 2025, 26 pages, 12 figures

💡 一句话要点

提出基于LLM的免训练通用中文错别字纠正方法，无需微调即可媲美大模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 中文错别字纠正 大型语言模型 免训练学习 Levenshtein距离 通用纠错

📋 核心要点

  1. 传统中文拼写纠错(CSC)忽略了字符缺失和冗余错误，限制了任务的实用性。
  2. 提出通用中文错别字纠正(C2EC)任务，并扩展免训练方法，利用LLM和Levenshtein距离处理多种错误。
  3. 实验表明，14B参数LLM在C2EC和传统CSC任务上，无需微调即可媲美更大的模型。

📝 摘要（中文）

中文拼写纠错（CSC）是一项旨在纠正中文文本中字符错误的关键任务。传统的CSC主要关注由误输入引起的字符替换错误，而另两种常见的字符错误，即字符缺失和冗余，受到的关注较少。即使这些错误已经被标注，它们通常在标注过程中从CSC数据集中排除，或在评估过程中被忽略。这个问题限制了CSC任务的实用性。为了解决这个问题，我们引入了通用中文错别字纠正（C2EC）任务，该任务关注所有三种类型的字符错误。我们通过结合和手动验证来自CCTC和Lemon数据集的数据，构建了一个高质量的C2EC基准。我们通过使用Levenshtein距离处理长度变化，并利用额外的基于prompt的大型语言模型（LLM）来提高性能，从而将免训练prompt-free CSC方法扩展到C2EC。实验表明，我们的方法使一个14B参数的LLM能够在传统的CSC和C2EC任务上与近50倍大的模型相媲美，而无需任何微调。

🔬 方法详解

问题定义：论文旨在解决通用中文错别字纠正（C2EC）问题，即同时纠正替换、缺失和冗余三种类型的字符错误。现有中文拼写纠错（CSC）方法主要关注替换错误，忽略了缺失和冗余错误，导致实用性受限。现有的数据集也往往忽略或排除这些类型的错误。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大生成能力，结合Levenshtein距离来处理文本长度的变化。通过prompt工程引导LLM进行纠错，并使用Levenshtein距离来确定插入或删除的位置，从而实现免训练的通用纠错。

技术框架：整体框架包括以下几个步骤：1) 输入带错误的中文文本；2) 使用基于prompt的LLM生成可能的纠正结果；3) 使用Levenshtein距离计算原始文本和生成文本之间的编辑距离，确定需要插入、删除或替换的字符；4) 输出纠正后的文本。

关键创新：最重要的创新点在于提出了一个免训练的C2EC方法，无需对LLM进行微调，即可达到与微调后的大模型相近的性能。此外，将Levenshtein距离与LLM相结合，有效地处理了文本长度变化带来的挑战。

关键设计：论文使用了特定的prompt来引导LLM进行纠错，例如使用“请纠正以下文本中的错误：”这样的提示语。Levenshtein距离用于计算编辑距离，并确定需要插入或删除字符的位置。具体参数设置和网络结构取决于所使用的LLM，论文中使用了14B参数的LLM，但具体模型名称未知。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，该方法在C2EC任务上取得了显著的性能提升。一个14B参数的LLM在无需任何微调的情况下，能够达到与近50倍大的模型相媲美的性能。这表明该方法具有很高的效率和实用性，能够有效利用LLM的强大能力。

🎯 应用场景

该研究成果可广泛应用于各种中文文本处理场景，如搜索引擎、机器翻译、文本校对、智能客服等。通过提高中文文本的准确性和可读性，可以提升用户体验和工作效率。未来，该方法可以进一步扩展到其他语言的文本纠错任务中，具有广阔的应用前景。

📄 摘要（原文）

Chinese spelling correction (CSC) is a crucial task that aims to correct character errors in Chinese text. While conventional CSC focuses on character substitution errors caused by mistyping, two other common types of character errors, missing and redundant characters, have received less attention. These errors are often excluded from CSC datasets during the annotation process or ignored during evaluation, even when they have been annotated. This issue limits the practicality of the CSC task. To address this issue, we introduce the task of General Chinese Character Error Correction (C2EC), which focuses on all three types of character errors. We construct a high-quality C2EC benchmark by combining and manually verifying data from CCTC and Lemon datasets. We extend the training-free prompt-free CSC method to C2EC by using Levenshtein distance for handling length changes and leveraging an additional prompt-based large language model (LLM) to improve performance. Experiments show that our method enables a 14B-parameter LLM to be on par with models nearly 50 times larger on both conventional CSC and C2EC tasks, without any fine-tuning.