Instruction-tuned Large Language Models for Machine Translation in the Medical Domain

📄 arXiv: 2408.16440v2 📥 PDF

作者: Miguel Rios

分类: cs.CL

发布日期: 2024-08-29 (更新: 2025-07-30)

备注: Citation: Miguel Rios. 2025. Instruction-tuned Large Language Models for Machine Translation in the Medical Domain. In Proceedings of Machine Translation Summit XX Volume 1, pages 162-172

💡 一句话要点

指令调优大型语言模型提升医疗领域机器翻译性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器翻译 大型语言模型 指令调优 医疗领域 专业术语 自然语言处理 医学翻译

📋 核心要点

  1. 大型语言模型在通用领域翻译表现出色，但在医疗等专业领域，其性能不如专门的神经机器翻译模型。
  2. 该研究通过指令调优的方式，并结合专业医学词典的术语，来提升大型语言模型在医疗领域的翻译能力。
  3. 实验结果表明，经过指令调优的LLMs在医疗领域的机器翻译任务中，性能显著优于基线模型。

📝 摘要（中文）

大型语言模型(LLMs)在资源丰富的语言对和领域的机器翻译中表现出良好的效果。然而，在特定领域(如医疗领域)，与标准神经机器翻译模型相比，LLMs的性能较低。术语机器翻译的一致性对于专业领域的用户、研究人员和翻译人员至关重要。本研究比较了基线LLMs和指令调优LLMs在医疗领域的性能。此外，我们将来自专业医学词典的术语引入到指令格式的数据集中，用于微调LLMs。指令调优的LLMs在自动指标上显著优于基线模型。

🔬 方法详解

问题定义：论文旨在解决医疗领域机器翻译中，大型语言模型性能不足的问题。现有方法在处理专业术语时，一致性较差，导致翻译质量下降，无法满足医疗领域对翻译准确性和一致性的高要求。

核心思路：论文的核心思路是通过指令调优（Instruction Tuning）的方式，使大型语言模型更好地理解和执行医疗领域的翻译任务。同时，将专业医学词典中的术语融入训练数据，增强模型对专业术语的识别和翻译能力。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 构建包含医疗领域翻译数据的指令格式数据集；2) 将专业医学词典中的术语整合到数据集中；3) 使用指令格式数据集对大型语言模型进行微调；4) 使用自动评估指标评估微调后模型的翻译性能，并与基线模型进行比较。

关键创新：该研究的关键创新在于将指令调优方法应用于医疗领域的机器翻译，并结合专业医学词典的术语，有效地提升了大型语言模型在该领域的翻译性能。与传统的神经机器翻译模型相比，该方法具有更好的泛化能力和可扩展性。

关键设计：论文的关键设计包括：指令格式数据集的设计，确保模型能够理解翻译任务的要求；专业医学词典术语的整合方式，确保模型能够学习到正确的术语翻译；以及合适的微调策略，避免模型过拟合训练数据。

📊 实验亮点

实验结果表明，经过指令调优的LLMs在医疗领域的机器翻译任务中，性能显著优于基线模型。具体的性能提升数据在论文中给出，表明该方法在提高翻译质量和术语一致性方面具有显著效果。该研究验证了指令调优和专业术语融入策略在提升特定领域机器翻译性能方面的有效性。

🎯 应用场景

该研究成果可应用于医疗报告翻译、医学文献翻译、临床试验文档翻译等领域，有助于提高医疗信息的跨语言交流效率和准确性，为医生、研究人员和患者提供更好的服务。未来，该方法还可以推广到其他专业领域，如法律、金融等。

📄 摘要（原文）

Large Language Models (LLMs) have shown promising results on machine translation for high resource language pairs and domains. However, in specialised domains (e.g. medical) LLMs have shown lower performance compared to standard neural machine translation models. The consistency in the machine translation of terminology is crucial for users, researchers, and translators in specialised domains. In this study, we compare the performance between baseline LLMs and instruction-tuned LLMs in the medical domain. In addition, we introduce terminology from specialised medical dictionaries into the instruction formatted datasets for fine-tuning LLMs. The instruction-tuned LLMs significantly outperform the baseline models with automatic metrics.