Qwen-MT-Lumen at WMT2026: Instruction-Specialized Translation via Quality-Aware Training and On-Policy Distillation
作者: Hao Wang, Yangyang Liu, Xiaohu Zhao, Heng Liu, Zifu Shang, Tianhao Li, Ruize Gao, Jialong Tang, Liangying Shao, Haoran Wei, Baosong Yang, Linlong Xu, Longyue Wang, Weihua Luo
分类: cs.CL
发布日期: 2026-10-14
💡 一句话要点
提出Lumen以解决指令专用翻译的质量与遵循性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 指令专用翻译 质量优化 在线蒸馏 多语言翻译 偏好优化 结构感知推理 机器翻译 深度学习
📋 核心要点
- 现有翻译系统在满足细致的风格、术语和结构要求时，往往难以保持翻译质量和遵循性。
- Lumen通过四个阶段的流程，包括在线偏好优化和蒸馏训练，提升了翻译的准确性和指令遵循能力。
- 在23个翻译方向的评测中，Lumen的整体平均得分达到4.60，表现与领先的专有系统相当。
📝 摘要（中文）
我们提出了Lumen，这是我们提交给WMT 2026通用机器翻译共享任务的开源模型。Lumen专注于指令专用翻译，要求系统在满足风格、术语和结构输出等细致要求的同时，提供准确的翻译。Lumen遵循四个阶段的流程：首先，通过持续的预训练和监督微调，增强多语言翻译能力和遵循翻译特定指令的能力；其次，将原本离线的M^{2}PO偏好优化框架扩展为在线偏好优化阶段；第三，采用在线蒸馏技术，将更强的翻译指令遵循行为从更大的教师模型转移到Qwen3-14B学生模型；最后，结构感知推理和后处理确保所需格式的保留，同时选择性修复在提交前解决明显的结构或解码失败。Lumen在23个翻译方向上参与评测，最终在1-5的评估标准下，整体平均得分达到4.60。
🔬 方法详解
问题定义：本论文旨在解决指令专用翻译中，现有方法在满足细致要求时翻译质量不足的问题。现有系统往往难以同时兼顾翻译的准确性与指令的遵循性。
核心思路：Lumen的核心思路是通过四个阶段的流程，结合持续的预训练、在线偏好优化和蒸馏训练，增强模型的翻译能力和指令遵循能力。这样的设计旨在提升翻译的质量和满足特定的翻译需求。
技术框架：Lumen的整体架构包括四个主要阶段：1) 继续预训练和监督微调；2) 在线偏好优化；3) 在线蒸馏；4) 结构感知推理与后处理。每个阶段都针对特定的翻译需求进行优化。
关键创新：Lumen的关键创新在于将M^{2}PO偏好优化框架扩展为在线版本，并通过在线蒸馏技术将教师模型的强大能力转移到学生模型中。这种方法显著提高了翻译指令的遵循性。
关键设计：在设计中，Lumen采用了14B的主翻译骨干网络，并通过多对偏好更新模型，使用LLM评估翻译质量，确保翻译输出符合多样化的指令要求。
🖼️ 关键图片
📊 实验亮点
Lumen在23个翻译方向的评测中，整体平均得分达到4.60，表现出色。尽管使用的是14B的翻译骨干，Lumen在翻译质量和指令遵循性方面的表现与领先的专有系统相当，显示出其强大的竞争力。
🎯 应用场景
Lumen的研究成果在多语言翻译、跨文化交流和专业术语翻译等领域具有广泛的应用潜力。其高质量的翻译能力和对指令的遵循性使其在商业翻译、法律文件翻译和技术文档翻译等场景中具有重要的实际价值。未来，Lumen有望推动机器翻译技术的进一步发展，提升全球信息交流的效率。
📄 摘要（原文）
We present Lumen, The open-source model is available at, our submission to the WMT 2026 General Machine Translation Shared Task. We focus on instruction-specialized translation, where systems must produce accurate translations while satisfying fine-grained requirements on style, terminology, and structured output. Lumen follows a four-stage pipeline. First, continued pre-training and supervised fine-tuning jointly strengthen multilingual translation competence and the ability to follow translation-specific instructions, such as terminology, style, and format constraints. Second, we extend the originally offline M^{2}PO preference-optimization framework into an online preference-optimization stage: the current policy samples candidate translations, an LLM judge assigns continuous direct-assessment scores, and the resulting multi-pair preferences are used to update the model. Third, on-policy distillation transfers stronger translation-instruction-following behavior from a larger teacher model to the Qwen3-14B student, improving translation-instruction adherence while retaining a 14B primary translation backbone. Finally, structure-aware inference and postprocessing preserve required formats, while selective repair addresses clear structural or decoding failures before submission. We participate in 23 translation directions. Under an absolute 1--5 LLM-judge rubric that evaluates translation-instruction following and translation quality separately, Lumen reaches an overall mean score of 4.60. Despite using a 14B translation backbone, it achieves performance comparable to leading proprietary systems in both translation quality and translation-instruction following.