TransClean: A Benchmark for Detecting and Extracting Clean Translations from Large Language Model Outputs

📄 arXiv: 2609.11399v1 📥 PDF

作者: Shenbin Qian, Yves Scherrer

分类: cs.CL

发布日期: 2026-09-10

备注: Accepted to the Eleventh Conference on Machine Translation (WMT26)

💡 一句话要点

提出TransClean基准以解决LLM翻译输出中的噪声问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 机器翻译 翻译噪声 基准评估 数据清理 自然语言处理 翻译质量

📋 核心要点

  1. 现有的LLM翻译输出常常包含多余的噪声文本，影响翻译质量，缺乏有效的评估基准。
  2. 本文提出TransClean基准，通过分析790,000个翻译输出，识别并分类翻译噪声，构建干净与噪声翻译对。
  3. 实验表明，所提取的方法在清理翻译输出方面具有显著效果，提供了系统的评估框架。

📝 摘要（中文）

大型语言模型（LLMs）在机器翻译中的应用日益广泛，但其输出常常包含超出翻译本身的额外文本，如语言标签、解释或双语重复，这被称为翻译噪声。尽管这一问题普遍存在，但缺乏专门的基准和系统研究。本文分析了来自12个LLM的790,000个翻译输出，识别出12种重复的噪声模式，并将其分为格式噪声和内容噪声。基于观察到的模式，我们构建了TransClean，一个包含9,900对噪声和干净翻译输出的受控基准，评估了两种提取方法：基于跨度的提取方法和基于LLM的提取方法。我们的基准和分析为评估和改善LLM翻译输出的清洁度提供了首个系统框架。

🔬 方法详解

问题定义：本文旨在解决大型语言模型翻译输出中的翻译噪声问题，现有方法未能有效识别和提取干净翻译，导致翻译质量下降。

核心思路：通过分析大量翻译输出，识别出12种噪声模式，并构建TransClean基准，以便于评估和改善翻译输出的清洁度。

技术框架：TransClean基准包含9,900对翻译输出，分为噪声和干净翻译。评估方法包括基于跨度的提取和基于LLM的提取。

关键创新：首次系统性地识别和分类翻译噪声，构建了专门的基准，提供了清洁翻译输出的评估框架。

关键设计：在提取方法中，基于跨度的提取利用翻译质量估计模型进行跨度检测，而基于LLM的提取则通过提示LLM来隔离翻译。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，所提出的提取方法在TransClean基准上表现优异，基于跨度的提取方法和基于LLM的提取方法均显著提高了翻译输出的清洁度，具体性能数据和提升幅度在实验中得到了验证。

🎯 应用场景

该研究的潜在应用领域包括机器翻译系统的优化、翻译质量评估工具的开发以及多语言处理任务的改进。通过提供清洁的翻译输出，能够提升用户体验和翻译的准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) are increasingly used for machine translation, yet their outputs often contain additional text beyond the translation itself, such as language labels, explanations or bilingual repetitions, which we term translation noise. Despite its prevalence, this problem lacks dedicated benchmarks and systematic study. We analyze over 790,000 translation outputs from 12 LLMs across 22 language pairs (LPs) and identify 12 recurring noise patterns, which we group into formatting and content noise. Building on the observed patterns, we construct TransClean, a controlled benchmark of 9,900 pairs of noisy and clean translation outputs, comprising 8,800 synthetically generated instances and 1,100 manually curated authentic instances. We evaluate two extraction approaches on the TransClean benchmark: 1) a span-based extraction method leveraging translation quality estimation models for span detection, and 2) an LLM-based extraction method that prompts an LLM to isolate the translation. Our benchmark and analysis provide the first systematic framework to evaluate and improve the cleanliness of LLM translation outputs.