TeochewBench: A Human-Reviewed Benchmark for Teochew Hanzi Translation
作者: Jianan Wu
分类: cs.CL
发布日期: 2026-09-16
备注: 11 pages
💡 一句话要点
提出TeochewBench以评估潮州汉字翻译模型的性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 潮州话翻译 汉字评估 机器翻译 语言模型 数据集构建 自然语言处理 跨文化交流
📋 核心要点
- 现有的潮州话翻译资源稀缺，限制了对大型语言模型的评估和改进。
- TeochewBench通过人工审核的300个潮州汉字表达，提供了一个全面的翻译评估基准。
- 实验结果显示，Qwen3.5-27B在评估中取得了最高的chrF-style分数，表明模型在处理低特异性和高特异性表达时的表现差异。
📝 摘要（中文）
潮州话拥有庞大的使用群体，并展现出独特的词汇、句法和语用特征，但用于评估大型语言模型的文本资源仍然有限。本文提出了TeochewBench，这是一个经过人工审核的基准数据集，包含300个潮州汉字表达，用于评估潮州汉字到普通话和英语的翻译。数据集涵盖五个类别，包括基础词汇、日常句子、潮州特有表达、语调、礼貌和语境，以及习语、模糊和文化特定表达。主要的潮州语审阅者对所有条目进行了逐一审查和必要的修订，另外两位潮州语使用者对部分条目进行了验证。我们的主要评估涵盖了11个官方通用后训练模型在该数据集上的翻译表现，产生了6600个预测。
🔬 方法详解
问题定义：本研究旨在解决潮州话翻译评估资源不足的问题，现有方法在处理潮州汉字翻译时缺乏有效的基准数据集。
核心思路：通过构建TeochewBench数据集，提供一个经过人工审核的潮州汉字翻译评估工具，以便更好地评估和比较不同翻译模型的性能。
技术框架：数据集包含300个潮州汉字表达，分为五个类别，涵盖日常用语和文化特定表达。评估过程包括对11个模型的翻译结果进行系统分析。
关键创新：TeochewBench的创新在于其人工审核的高质量数据集，填补了潮州话翻译领域的空白，并提供了多维度的评估标准。
关键设计：数据集的构建过程中，主要审阅者对每个条目进行了逐一审查，确保翻译质量，同时引入了Hanzi-copy控制，以评估汉字共享对翻译评分的影响。
🖼️ 关键图片
📊 实验亮点
在评估中，Qwen3.5-27B模型的chrF-style分数达到60.63，表现最佳。实验还显示，低特异性表达的平均分数为69.25，而高特异性表达的分数降至27.52，表明模型在处理不同类型表达时的性能差异显著。
🎯 应用场景
该研究的潜在应用领域包括机器翻译、自然语言处理和跨文化交流等。TeochewBench为潮州话的翻译模型提供了可靠的评估标准，有助于推动相关技术的发展和应用，尤其是在多语言环境下的实际应用价值。未来，该基准数据集可能会扩展到其他方言和语言的翻译评估中。
📄 摘要（原文）
Teochew has a substantial speaker community and exhibits distinctive lexical, syntactic, and pragmatic features, yet textual resources for evaluating large language models remain limited. We present TeochewBench, a human-reviewed benchmark comprising 300 Teochew Hanzi expressions for evaluating translation from Teochew Hanzi into Mandarin Chinese and English. The dataset covers five categories: basic vocabulary; everyday sentences; Teochew-specific expressions; tone, politeness, and context; and idiomatic, ambiguous, and culturally specific expressions. A primary Teochew-speaking reviewer examined all entries individually and revised them as needed, while two additional Teochew speakers verified selected items. Our main evaluation covers 11 official general-purpose post-trained models on the reviewed dataset in both translation directions, yielding 6,600 predictions. Two official base checkpoints provide 1,200 predictions for supplementary diagnostics, bringing the total to 13 models and 7,800 predictions. We additionally include a Hanzi-copy control, which returns the source input unchanged, to assess how shared Hanzi affect automatic scores for translation into Mandarin Chinese. Qwen3.5-27B achieved the highest overall chrF-style score among the evaluated checkpoints, at 60.63, followed by Qwen2.5-72B-Instruct at 56.61, Gemma-3-27B-IT at 56.36, and GLM-4-32B-0414 at 55.82. Across the 11 main-evaluation models, the mean chrF-style score decreased from 69.25 for low-specificity items to 27.52 for high-specificity items. High-specificity expressions received lower scores and exhibited smaller cross-model differences, suggesting that they constitute a shared low-scoring region across the model families evaluated here. The Hanzi-copy control further indicates that surface overlap in low-specificity items can substantially affect automatic scores for translation into Mandarin Chinese.