Can General-Purpose Large Language Models Generalize to English-Thai Machine Translation ?

📄 arXiv: 2410.17145v1 📥 PDF

作者: Jirat Chiaranaipanich, Naiyarat Hanmatheekuna, Jitkapat Sawatphol, Krittamate Tiankanon, Jiramet Kinchagawat, Amrest Chinkamol, Parinthapat Pengpun, Piyalitt Ittichaiwong, Peerat Limkonchotiwat

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-10-22

备注: Accepted in GenBench EMNLP 2024

💡 一句话要点

研究表明通用大语言模型在低资源英泰翻译中泛化能力不足

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器翻译 大型语言模型 低资源语言 英泰翻译 模型量化

📋 核心要点

  1. 大型语言模型在资源受限场景下的翻译泛化能力面临挑战。
  2. 论文对比LLM与专用模型在英泰翻译任务上的性能，考察资源约束的影响。
  3. 实验表明，量化等计算约束下，专用模型优于LLM，凸显其重要性。

📝 摘要（中文）

大型语言模型（LLMs）在常见任务上表现出色，但在低资源和低计算设置中的泛化能力较弱。本文通过在英泰机器翻译和代码切换数据集上测试各种LLM和专用翻译模型，研究了这一局限性。研究结果表明，在更严格的计算约束下，例如4位量化，LLM无法有效地进行翻译。相比之下，专用模型在相当或更低的计算要求下，始终优于LLM。这强调了专用模型在资源约束下保持性能的重要性。

🔬 方法详解

问题定义：论文旨在解决通用大型语言模型（LLMs）在低资源、低计算场景下，英泰机器翻译任务中泛化能力不足的问题。现有方法，即直接使用通用LLMs进行翻译，在计算资源受限时，翻译质量会显著下降，无法满足实际应用需求。

核心思路：论文的核心思路是对比通用LLMs和专用翻译模型在资源受限情况下的性能表现，从而论证专用模型在特定任务和资源约束下的优势。通过实验验证，即使在计算资源相当甚至更低的情况下，专用模型也能保持甚至超越LLMs的翻译质量。

技术框架：论文采用对比实验的框架。首先，选择一系列通用LLMs和专用翻译模型作为实验对象。然后，在英泰机器翻译和代码切换数据集上进行测试。为了模拟资源受限的场景，对模型进行4-bit量化。最后，对比不同模型在不同资源约束下的翻译性能指标，如BLEU值等。

关键创新：论文的关键创新在于揭示了通用LLMs在低资源翻译任务中，特别是在计算资源受限情况下的局限性。与通常认为LLMs具有强大泛化能力的观点不同，该研究表明，在特定任务和资源约束下，专用模型仍然具有不可替代的优势。

关键设计：论文的关键设计包括：1) 选择具有代表性的通用LLMs和专用翻译模型；2) 使用英泰机器翻译和代码切换数据集，以评估模型在不同语言现象下的翻译能力；3) 采用4-bit量化作为资源约束的手段，模拟实际应用中可能遇到的情况；4) 使用BLEU等标准指标评估翻译质量，确保实验结果的客观性和可比性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，在4-bit量化条件下，通用LLMs的英泰翻译性能显著下降，而专用翻译模型，如Transformer模型，即使在相同或更低的计算资源下，也能保持较高的翻译质量，BLEU值明显优于LLMs。这验证了专用模型在资源受限场景下的优势。

🎯 应用场景

该研究成果可应用于低资源语言的机器翻译系统开发，尤其是在移动设备或嵌入式系统等计算资源受限的场景下。它强调了针对特定任务优化模型的必要性，有助于开发更高效、更实用的翻译工具，促进跨语言交流。

📄 摘要（原文）

Large language models (LLMs) perform well on common tasks but struggle with generalization in low-resource and low-computation settings. We examine this limitation by testing various LLMs and specialized translation models on English-Thai machine translation and code-switching datasets. Our findings reveal that under more strict computational constraints, such as 4-bit quantization, LLMs fail to translate effectively. In contrast, specialized models, with comparable or lower computational requirements, consistently outperform LLMs. This underscores the importance of specialized models for maintaining performance under resource constraints.