Yes-MT's Submission to the Low-Resource Indic Language Translation Shared Task in WMT 2024

📄 arXiv: 2512.15226v1 📥 PDF

作者: Yash Bhaskar, Parameswari Krishnamurthy

分类: cs.CL, cs.AI

发布日期: 2025-12-17

备注: Accepted at WMT 2024

期刊: In Proceedings of the Ninth Conference on Machine Translation (WMT 2024), pages 788-792, 2024

DOI: 10.18653/v1/2024.wmt-1.71

💡 一句话要点

Yes-MT团队探索多种方法，解决WMT 2024低资源印度语言翻译难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低资源翻译 机器翻译 印度语言 预训练模型 大型语言模型

📋 核心要点

  1. 低资源印度语言翻译面临数据稀缺的挑战，严重制约了翻译模型的性能。
  2. 探索了微调预训练模型、提示大型语言模型以及从头训练Transformer等多种策略。
  3. 实验结果表明，微调后的LLM在低资源翻译任务中具有潜力，但仍面临挑战。

📝 摘要（中文）

本文介绍了Yes-MT团队在WMT 2024低资源印度语言翻译共享任务中的提交系统，重点关注英语与阿萨姆语、米佐语、卡西语和曼尼普尔语之间的翻译。实验探索了多种方法，包括在多语言和单语言设置中微调预训练模型（如mT5和IndicBart），使用LoRA微调IndicTrans2，使用大型语言模型（LLM）（如Llama 3和Mixtral 8x7b）进行零样本和少样本提示，Llama 3的LoRA监督微调，以及从头开始训练Transformer模型。使用SacreBLEU和CHRF在WMT23低资源印度语言翻译共享任务测试数据上评估了结果，突出了低资源翻译的挑战以及LLM在这些任务中的潜力，尤其是在微调后。

🔬 方法详解

问题定义：论文旨在解决低资源场景下，英语与阿萨姆语、米佐语、卡西语和曼尼普尔语等印度语言之间的翻译问题。现有方法在这些语言上的表现不佳，主要是由于缺乏足够的训练数据，导致模型泛化能力不足。

核心思路：论文的核心思路是利用现有的预训练模型，通过微调或提示等方式，使其适应低资源印度语言的翻译任务。同时，也探索了从头训练Transformer模型的可行性，旨在充分挖掘有限数据的潜力。

技术框架：论文采用了多种技术框架，包括：1) 基于mT5和IndicBart等预训练模型的微调；2) 基于IndicTrans2的LoRA微调；3) 基于Llama 3和Mixtral 8x7b等LLM的零样本和少样本提示；4) Llama 3的LoRA监督微调；5) 从头训练Transformer模型。这些框架分别针对不同的模型和数据情况，旨在找到最佳的翻译方案。

关键创新：论文的关键创新在于对多种低资源翻译方法的综合探索和比较。它没有局限于单一的模型或技术，而是尝试了不同的组合和策略，以期在低资源场景下获得更好的翻译效果。此外，论文还关注了LLM在低资源翻译中的应用，并探索了不同的微调和提示方法。

关键设计：论文中涉及的关键设计包括：1) 预训练模型的选择和微调策略；2) LoRA微调的参数设置；3) LLM的提示方式和样本选择；4) Transformer模型的网络结构和训练参数；5) 评估指标的选择和实验设置。具体的参数设置和网络结构等细节可能因不同的模型和实验而有所差异，需要在论文中进一步查找。

🖼️ 关键图片

fig_0

📊 实验亮点

论文在WMT23低资源印度语言翻译共享任务测试数据上进行了评估，使用了SacreBLEU和CHRF指标。虽然摘要中没有给出具体的性能数据和提升幅度，但强调了微调后的LLM在低资源翻译任务中的潜力。具体的实验结果需要在论文中进一步查找。

🎯 应用场景

该研究成果可应用于低资源语言的机器翻译系统，促进不同语言文化之间的交流。在教育、旅游、新闻传播等领域具有潜在应用价值。未来可进一步探索更有效的低资源翻译方法，提升翻译质量和效率。

📄 摘要（原文）

This paper presents the systems submitted by the Yes-MT team for the Low-Resource Indic Language Translation Shared Task at WMT 2024 (Pakray et al., 2024), focusing on translating between English and the Assamese, Mizo, Khasi, and Manipuri languages. The experiments explored various approaches, including fine-tuning pre-trained models like mT5 (Xue et al., 2020) and IndicBart (Dabre et al., 2021) in both multilingual and monolingual settings, LoRA (Hu et al., 2021) fine-tuning IndicTrans2 (Gala et al., 2023), zero-shot and few-shot prompting (Brown, 2020) with large language models (LLMs) like Llama 3 (Dubey et al., 2024) and Mixtral 8x7b (Jiang et al., 2024), LoRA supervised fine-tuning of Llama 3 (Mecklenburg et al., 2024), and training Transformer models (Vaswani, 2017) from scratch. The results were evaluated on the WMT23 Low-Resource Indic Language Translation Shared Task test data using SacreBLEU (Post, 2018) and CHRF (Popovic, 2015), highlighting the challenges of low-resource translation and the potential of LLMs for these tasks, particularly with fine-tuning.