On Bilingual Lexicon Induction with Large Language Models

📄 arXiv: 2310.13995v2 📥 PDF

作者: Yaoyiran Li, Anna Korhonen, Ivan Vulić

分类: cs.CL, cs.AI, cs.IR, cs.LG

发布日期: 2023-10-21 (更新: 2024-02-25)

备注: EMNLP 2023 Main Conference

期刊: Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pages 9577-9599

DOI: 10.18653/v1/2023.emnlp-main.595

💡 一句话要点

利用大型语言模型进行双语词典构建的研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 双语词典构建 大型语言模型 无监督学习 少样本学习 自然语言处理 跨语言表示 机器翻译

📋 核心要点

  1. 现有的双语词典构建方法在处理多样化语言时存在局限性，尤其是在缺乏标注数据的情况下。
  2. 本文提出利用大型语言模型进行双语词典构建，通过零样本和少样本提示方法，探索其在无监督学习中的应用。
  3. 实验结果显示，基于上下文的少样本提示方法在多个语言对上实现了新的最优性能，超越了现有方法。

📝 摘要（中文）

双语词典构建（BLI）是多语言自然语言处理中的核心任务，仍然在很大程度上依赖于计算跨语言词表示。本文探讨了最新一代大型语言模型（LLMs）在双语词典构建中的潜力。研究问题为：是否可以通过提示和微调多语言LLMs（mLLMs）来进行BLI？我们系统研究了无监督BLI的零样本提示、基于种子翻译对的少样本上下文提示，以及对小型LLMs的标准BLI微调。实验结果表明，少样本提示方法在多个语言对上达到了新的最优BLI得分，并提供了对BLI与(m)LLMs的深入分析和消融研究。

🔬 方法详解

问题定义：本文旨在解决双语词典构建中的数据稀缺问题，现有方法在无监督学习和多语言处理上存在局限性。

核心思路：通过利用大型语言模型的强大表示能力，采用零样本和少样本提示方法，探索其在双语词典构建中的有效性。

技术框架：研究分为三个主要模块：1) 无监督的零样本提示；2) 基于种子翻译对的少样本上下文提示；3) 对小型LLMs的标准微调。

关键创新：首次展示了文本到文本的多语言LLMs在双语词典构建中的强大能力，尤其是少样本提示方法在性能上的显著提升。

关键设计：实验中使用了18个开源文本到文本的多语言LLMs，参数范围从0.3B到13B，采用了标准的BLI基准进行评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于上下文的少样本提示方法在多个语言对上达到了新的最优BLI得分，超越了现有的基线方法，展示了显著的性能提升，尤其是在处理语言多样性方面。

🎯 应用场景

该研究的潜在应用领域包括机器翻译、跨语言信息检索和多语言对话系统等。通过提高双语词典构建的效率和准确性，能够促进多语言自然语言处理技术的发展，增强不同语言间的互通性。

📄 摘要（原文）

Bilingual Lexicon Induction (BLI) is a core task in multilingual NLP that still, to a large extent, relies on calculating cross-lingual word representations. Inspired by the global paradigm shift in NLP towards Large Language Models (LLMs), we examine the potential of the latest generation of LLMs for the development of bilingual lexicons. We ask the following research question: Is it possible to prompt and fine-tune multilingual LLMs (mLLMs) for BLI, and how does this approach compare against and complement current BLI approaches? To this end, we systematically study 1) zero-shot prompting for unsupervised BLI and 2) few-shot in-context prompting with a set of seed translation pairs, both without any LLM fine-tuning, as well as 3) standard BLI-oriented fine-tuning of smaller LLMs. We experiment with 18 open-source text-to-text mLLMs of different sizes (from 0.3B to 13B parameters) on two standard BLI benchmarks covering a range of typologically diverse languages. Our work is the first to demonstrate strong BLI capabilities of text-to-text mLLMs. The results reveal that few-shot prompting with in-context examples from nearest neighbours achieves the best performance, establishing new state-of-the-art BLI scores for many language pairs. We also conduct a series of in-depth analyses and ablation studies, providing more insights on BLI with (m)LLMs, also along with their limitations.