Mixture of Small and Large Models for Chinese Spelling Check

📄 arXiv: 2506.06887v1 📥 PDF

作者: Ziheng Qiao, Houquan Zhou, Zhenghua Li

分类: cs.CL

发布日期: 2025-06-07

🔗 代码/项目: GITHUB

💡 一句话要点

提出混合大小模型方法，提升中文拼写检查性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 中文拼写检查 混合模型 大语言模型 BERT 束搜索 动态混合 纠错

📋 核心要点

  1. 现有中文拼写检查方法，大语言模型效果不佳，微调BERT模型易过拟合。
  2. 提出动态混合方法，结合小模型精确性和大模型流畅性，无需微调大模型。
  3. 实验结果表明，该方法显著提升纠错能力，并在多个数据集上达到最优性能。

📝 摘要（中文）

在大语言模型（LLMs）时代，中文拼写检查（CSC）任务涌现出各种LLM方法，但其性能仍不尽如人意。相比之下，微调的基于BERT的模型依赖于高质量的领域内数据，表现出色，但存在编辑模式过拟合的问题。本文提出了一种新颖的动态混合方法，该方法在束搜索解码阶段有效地结合了小模型和LLM的概率分布，从而平衡了小模型的精确校正能力和LLM的流畅性。此外，该方法无需微调LLM，节省了大量时间和资源，并促进了领域自适应。综合实验表明，我们的混合方法显著提高了纠错能力，在多个数据集上取得了最先进的结果。

🔬 方法详解

问题定义：论文旨在解决中文拼写检查（CSC）任务中，现有方法要么依赖大语言模型（LLM）但性能不足，要么依赖微调的BERT模型但容易过拟合的问题。现有LLM方法在CSC任务上表现不佳，而微调的BERT模型虽然在特定领域表现良好，但泛化能力较弱，容易记住训练数据中的错误模式，导致在新的、未见过的数据上表现下降。

核心思路：论文的核心思路是将小模型（如BERT）和大语言模型（LLM）的优势结合起来，利用小模型在特定领域数据上的精确校正能力，以及大语言模型的流畅性和泛化能力。通过动态地混合两种模型的概率分布，可以在保证纠错准确性的同时，提高生成文本的流畅度和自然度。

技术框架：该方法的核心在于束搜索解码阶段。在解码过程中，对于每个候选token，模型会计算其概率分布。论文提出的方法不是简单地使用小模型或大模型的概率分布，而是将两者进行混合。具体来说，对于每个候选token，其最终概率是小模型概率和大模型概率的加权平均，权重可以根据当前上下文动态调整。整体流程包括：1. 输入包含错误的中文句子；2. 使用小模型（如BERT）和大语言模型（LLM）分别计算每个候选token的概率分布；3. 使用动态混合方法将两种概率分布进行加权平均；4. 使用束搜索算法选择最优的纠错结果。

关键创新：该方法最重要的创新点在于动态混合小模型和大语言模型的概率分布。与简单地使用其中一种模型相比，该方法可以更好地平衡纠错的准确性和生成文本的流畅性。此外，该方法无需微调大语言模型，节省了大量的计算资源和时间，并且更容易适应新的领域。

关键设计：动态混合概率分布的关键在于权重的选择。论文中可能使用了某种机制（具体细节未知）来动态调整权重，例如基于当前上下文信息、小模型和大模型预测结果的置信度等。此外，束搜索算法的束宽（beam size）也是一个重要的参数，它决定了搜索空间的大小，从而影响最终的纠错结果。具体的损失函数和网络结构细节取决于所使用的小模型（如BERT）和大语言模型（具体模型未知）。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

该方法在多个中文拼写检查数据集上取得了最先进的结果，显著提高了纠错能力。具体性能数据和对比基线未知，但摘要中明确指出该方法在多个数据集上达到了state-of-the-art水平，表明其具有很强的竞争力。

🎯 应用场景

该研究成果可广泛应用于各种中文文本处理场景，如搜索引擎的查询纠错、输入法的自动纠错、机器翻译的后编辑、以及社交媒体和新闻平台的文本审核等。通过提高中文拼写检查的准确性和效率，可以改善用户体验，减少信息传播中的错误，并提高自然语言处理系统的整体性能。

📄 摘要（原文）

In the era of large language models (LLMs), the Chinese Spelling Check (CSC) task has seen various LLM methods developed, yet their performance remains unsatisfactory. In contrast, fine-tuned BERT-based models, relying on high-quality in-domain data, show excellent performance but suffer from edit pattern overfitting. This paper proposes a novel dynamic mixture approach that effectively combines the probability distributions of small models and LLMs during the beam search decoding phase, achieving a balanced enhancement of precise corrections from small models and the fluency of LLMs. This approach also eliminates the need for fine-tuning LLMs, saving significant time and resources, and facilitating domain adaptation. Comprehensive experiments demonstrate that our mixture approach significantly boosts error correction capabilities, achieving state-of-the-art results across multiple datasets. Our code is available at https://github.com/zhqiao-nlp/MSLLM.