When Metrics Reward the Worst Translations: Internalizing Cultural Reasoning for Social Media Translation Evaluation

📄 arXiv: 2609.08156v1 📥 PDF

作者: Yiwen Qiu, Linjuan Wu, Dingming Li, Yizhou Liu, Zixuan Wang, Haolei Xu, Ye Guo, Daoxin Zhang, Weiming Lu, Yongliang Shen

分类: cs.CL

发布日期: 2026-09-08

💡 一句话要点

提出CuRIL框架以解决社交媒体翻译评估中的文化推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社交媒体翻译 文化推理 翻译评估 强化学习 自动翻译 模型优化 自然语言处理

📋 核心要点

  1. 现有的翻译质量评估指标在社交媒体内容上表现不佳，无法有效捕捉文化背景对翻译质量的影响。
  2. 本文提出CuRIL框架，通过强化学习内嵌文化推理，逐步培养模型的文化判断能力，以提高翻译评估的准确性。
  3. 在1,444个样本的社交媒体翻译基准上，CuRIL训练的模型在Cohen's kappa上达到0.370，准确率为45.22%，显著优于现有大型模型。

📝 摘要（中文）

自动翻译质量评估指标在社交媒体内容上表现不佳，主要因为社交媒体的交流意图常通过文化负载的表达方式传达，而非表面词汇模式。研究表明，现有标准指标如COMET、XCOMET和BERTScore与人类文化判断的相关性几乎为零，且在翻译质量下降时评分反而上升。为了解决这一问题，本文提出了CuRIL，一个强化学习框架，通过将文化注释内嵌到模型推理中，逐步培养模型的自主文化判断能力。实验结果显示，使用CuRIL训练的模型在社交媒体翻译基准上显著提升了评估性能。

🔬 方法详解

问题定义：论文要解决的问题是现有翻译质量评估指标在社交媒体内容上的低效能，尤其是它们无法识别文化负载表达对翻译质量的影响。现有方法如COMET和BERTScore在这方面的相关性几乎为零，且在翻译质量下降时评分反而上升，显示出严重的评估失真。

核心思路：论文的核心解决思路是通过CuRIL框架内嵌文化推理，使模型能够理解和评估翻译中的文化因素。该框架通过强化学习逐步培养模型的自主文化判断能力，解决了传统方法缺乏文化背景知识的问题。

技术框架：CuRIL框架的整体架构包括文化注释的内嵌、策略梯度的损失掩码以及逐步降低的注入概率。模型在训练过程中逐渐减少对文化注释的依赖，增强自主判断能力。

关键创新：最重要的技术创新点在于将文化推理内嵌到模型的推理过程中，并通过强化学习机制逐步培养模型的文化判断能力。这一方法与现有方法的本质区别在于它不再依赖于表面特征，而是关注文化背景。

关键设计：在关键设计上，CuRIL使用了基于token的损失掩码来排除文化注释对策略梯度的影响，并设置了逐步降低的注入概率，以确保模型在训练后期能够独立进行文化判断。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用CuRIL训练的Qwen3-8B模型在Cohen's kappa上达到了0.370，Exact Match准确率为45.22%，相比于Gemini-3.1-Pro在参数量上减少了30倍，并超越了多达235B参数的模型。此外，该模型在独立人类评估中将低质量翻译率降低了超过20个百分点，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容的自动翻译、跨文化交流的文本处理以及多语言社交平台的内容审核。通过提高翻译质量评估的准确性，CuRIL框架能够在实际应用中显著提升用户体验，促进不同文化间的理解与交流。

📄 摘要（原文）

Automatic translation quality metrics trained on general-domain corpora systematically fail on social media content, where communicative intent is encoded in culturally loaded expressions (internet slang, homophonic ciphers, and platform-specific idioms) rather than surface token patterns. We conduct a systematic empirical analysis demonstrating that standard metrics including COMET, XCOMET, and BERTScore exhibit near-zero or negative correlation with human cultural judgments, and even display a severity inversion in which scores increase as translation quality deteriorates. We further show that this failure extends to large language model judges: Qwen3-235B achieves Cohen's kappa of only 0.162, revealing that the bottleneck is not reasoning capacity but cultural grounding: models lack the domain-specific cultural knowledge needed to identify which aspects of a translation require scrutiny. To address this, we propose CuRIL, a reinforcement learning framework that internalizes cultural reasoning: cultural annotations are prepended inside the model's reasoning, excluded from policy gradients via a token-level loss mask, and injected with a probability that decays to zero over training, progressively forcing autonomous cultural judgment. On a 1,444-sample human-annotated social media translation benchmark, Qwen3-8B trained with CuRIL achieves Cohen's kappa 0.370 and Exact Match accuracy of 45.22%, approaching Gemini-3.1-Pro with 30x fewer parameters and surpassing models up to 235B in scale. We further demonstrate that our judge produces reliable reward signals for downstream translation optimization, reducing the low-quality translation rate by over 20 percentage points under independent human evaluation.