SlangDIT: Benchmarking LLMs in Interpretative Slang Translation

📄 arXiv: 2505.14181v1 📥 PDF

作者: Yunlong Liang, Fandong Meng, Jiaan Wang, Jie Zhou

分类: cs.CL

发布日期: 2025-05-20

备注: work in progress

💡 一句话要点

提出SlangDIT基准测试和SlangOWL模型，用于提升LLM在解释性俚语翻译中的性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 俚语翻译 大型语言模型 深度思考 自然语言处理 机器翻译

📋 核心要点

  1. 现有俚语翻译方法缺乏对俚语检测和解释的有效利用，导致翻译质量受限。
  2. SlangOWL模型通过深度思考，首先检测和解释俚语，然后进行翻译，模拟人类的翻译过程。
  3. 实验表明，SlangOWL显著提升了LLM在俚语翻译任务上的性能，优于传统模型和微调模型。

📝 摘要（中文）

俚语翻译的挑战在于捕捉上下文相关的语义扩展，因为俚语术语通常传达超出其字面解释的含义。虽然俚语检测、解释和翻译已作为大型语言模型（LLM）时代中的孤立任务进行研究，但它们内在的相互依赖性仍未得到充分探索。主要原因是缺乏一个基准，其中前两个任务可以作为第三个任务的先决条件，从而促进地道的翻译。在本文中，我们引入了解释性俚语翻译任务（名为SlangDIT），该任务包含三个子任务：俚语检测、跨语言俚语解释和当前上下文中的俚语翻译，旨在借助俚语检测和俚语解释生成更准确的翻译。为此，我们构建了一个SlangDIT数据集，包含超过25k个英汉句子对。每个源句子至少提到一个俚语术语，并标有相应的跨语言俚语解释。基于该基准，我们提出了一种深度思考模型，名为SlangOWL。它首先识别句子是否包含俚语，然后判断俚语是否具有多义性并分析其可能的含义。更进一步，SlangOWL针对当前上下文提供俚语术语的最佳解释。最后，根据整个思考过程，SlangOWL提供合适的翻译。我们在LLM（例如，Qwen2.5和LLama-3.1）上的实验表明，我们的深度思考方法确实增强了LLM的性能，其中提出的SlangOWL显著优于原始模型和没有思考过程的监督微调模型。

🔬 方法详解

问题定义：论文旨在解决俚语翻译中，由于俚语含义的上下文依赖性和多义性，导致现有机器翻译系统难以准确翻译的问题。现有方法通常将俚语翻译视为一个孤立的任务，忽略了俚语检测和解释的重要性，导致翻译结果不够地道和准确。

核心思路：论文的核心思路是模拟人类翻译俚语的过程，即首先识别句子中的俚语，然后根据上下文理解俚语的含义，最后进行翻译。通过将俚语检测和解释作为翻译的先决条件，可以更好地捕捉俚语的语义信息，从而提高翻译的准确性和流畅性。

技术框架：论文提出了一个名为SlangOWL的深度思考模型，其整体架构包含以下几个主要模块：1) 俚语检测模块：用于识别句子中是否包含俚语。2) 俚语多义性判断模块：用于判断俚语是否具有多重含义。3) 俚语解释模块：用于根据上下文选择最合适的俚语解释。4) 翻译模块：根据俚语检测和解释的结果，生成最终的翻译结果。整个流程是一个pipeline，每个模块的输出作为下一个模块的输入。

关键创新：论文的关键创新在于提出了一个深度思考的框架，将俚语检测和解释融入到翻译过程中。与传统的端到端翻译模型相比，SlangOWL能够更好地理解俚语的语义信息，从而生成更准确和地道的翻译结果。此外，SlangDIT数据集的构建也为俚语翻译的研究提供了新的资源。

关键设计：SlangOWL模型的具体实现细节未知，但可以推测，俚语检测模块可能采用序列标注模型，俚语多义性判断模块可能采用分类模型，俚语解释模块可能采用检索模型或生成模型，翻译模块可能采用现有的神经机器翻译模型。损失函数的设计可能包括交叉熵损失、对比损失等，以鼓励模型学习俚语的语义表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SlangOWL模型在SlangDIT数据集上显著优于现有的LLM，例如Qwen2.5和LLama-3.1。具体性能提升数据未知，但论文强调SlangOWL超越了原始模型和监督微调模型，证明了深度思考方法在俚语翻译中的有效性。

🎯 应用场景

该研究成果可应用于机器翻译、跨文化交流、社交媒体分析等领域。通过提高俚语翻译的准确性，可以促进不同语言和文化之间的理解和沟通，减少误解和歧义。未来，该技术还可以应用于智能客服、舆情监控等场景，提升人机交互的自然性和智能化水平。

📄 摘要（原文）

The challenge of slang translation lies in capturing context-dependent semantic extensions, as slang terms often convey meanings beyond their literal interpretation. While slang detection, explanation, and translation have been studied as isolated tasks in the era of large language models (LLMs), their intrinsic interdependence remains underexplored. The main reason is lacking of a benchmark where the two tasks can be a prerequisite for the third one, which can facilitate idiomatic translation. In this paper, we introduce the interpretative slang translation task (named SlangDIT) consisting of three sub-tasks: slang detection, cross-lingual slang explanation, and slang translation within the current context, aiming to generate more accurate translation with the help of slang detection and slang explanation. To this end, we construct a SlangDIT dataset, containing over 25k English-Chinese sentence pairs. Each source sentence mentions at least one slang term and is labeled with corresponding cross-lingual slang explanation. Based on the benchmark, we propose a deep thinking model, named SlangOWL. It firstly identifies whether the sentence contains a slang, and then judges whether the slang is polysemous and analyze its possible meaning. Further, the SlangOWL provides the best explanation of the slang term targeting on the current context. Finally, according to the whole thought, the SlangOWL offers a suitable translation. Our experiments on LLMs (\emph{e.g.}, Qwen2.5 and LLama-3.1), show that our deep thinking approach indeed enhances the performance of LLMs where the proposed SLangOWL significantly surpasses the vanilla models and supervised fine-tuned models without thinking.