Analyzing Multilingual Competency of LLMs in Multi-Turn Instruction Following: A Case Study of Arabic

📄 arXiv: 2310.14819v1 📥 PDF

作者: Sabri Boughorbel, Majd Hawasly

分类: cs.CL

发布日期: 2023-10-23

备注: Accepted at SIGARAB ArabicNLP 2023

💡 一句话要点

分析大型语言模型在阿拉伯语多轮指令跟随中的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多轮指令 阿拉伯语 基准测试 多语言处理

📋 核心要点

  1. 现有方法在评估大型语言模型对阿拉伯语多轮指令的响应能力时存在不足，尤其是在较少测试的语言中。
  2. 论文通过定制的阿拉伯语MT-Bench基准，使用GPT-4作为评估工具，比较不同语言下LLMs的表现。
  3. 研究发现，经过微调的基础模型在多轮任务中表现出色，且小型开放LLMs的集成可能与专有模型竞争。

📝 摘要（中文）

尽管在各类任务中对大型语言模型（LLMs）的基准测试取得了显著进展，但对其在阿拉伯语等较少测试语言中响应多轮指令的能力缺乏全面评估。本文详细考察了开放式LLMs在阿拉伯语场景下的表现。通过定制的阿拉伯语MT-Bench基准套件，我们使用GPT-4作为统一评估器，比较了LLMs在不同开放式任务上的表现。研究发现，模型在不同任务类别（如逻辑与素养）下的响应存在差异，且经过多语言和多轮数据集微调的基础模型在性能上可与从头训练的多语言模型竞争。最后，我们假设小型开放LLMs的集成能够在基准测试中与专有LLMs竞争。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在阿拉伯语多轮指令跟随中的能力评估不足的问题。现有方法缺乏对少数语言的全面测试，导致对模型能力的理解不够深入。

核心思路：通过定制的阿拉伯语MT-Bench基准套件，利用GPT-4作为统一评估器，比较不同语言下的模型表现，以全面评估其多轮指令响应能力。

技术框架：整体架构包括数据准备、模型评估和结果分析三个主要模块。首先，构建阿拉伯语的MT-Bench基准；其次，使用GPT-4对模型进行评估；最后，分析不同任务类别下的模型表现差异。

关键创新：最重要的创新在于通过定制基准和统一评估器，系统性地评估阿拉伯语LLMs的多轮指令响应能力，这在现有文献中尚属首次。

关键设计：在实验中，采用了多语言和多轮数据集对基础模型进行微调，设置了适当的超参数，并使用了针对性损失函数以优化模型在特定任务上的表现。实验设计确保了对不同任务类别的全面覆盖。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过微调的基础模型在逻辑任务和素养任务上的表现均优于未微调模型，且在某些任务上与从头训练的多语言模型相当。此外，集成的小型开放LLMs在基准测试中表现出色，显示出与专有LLMs的竞争潜力。

🎯 应用场景

该研究的潜在应用领域包括多语言智能助手、教育技术和跨文化交流工具。通过提升阿拉伯语LLMs的性能，可以为阿拉伯语用户提供更好的自然语言处理服务，促进信息获取和知识传播。未来，该研究可能推动更多语言的模型开发与评估，提升全球范围内的语言技术应用。

📄 摘要（原文）

While significant progress has been made in benchmarking Large Language Models (LLMs) across various tasks, there is a lack of comprehensive evaluation of their abilities in responding to multi-turn instructions in less-commonly tested languages like Arabic. Our paper offers a detailed examination of the proficiency of open LLMs in such scenarios in Arabic. Utilizing a customized Arabic translation of the MT-Bench benchmark suite, we employ GPT-4 as a uniform evaluator for both English and Arabic queries to assess and compare the performance of the LLMs on various open-ended tasks. Our findings reveal variations in model responses on different task categories, e.g., logic vs. literacy, when instructed in English or Arabic. We find that fine-tuned base models using multilingual and multi-turn datasets could be competitive to models trained from scratch on multilingual data. Finally, we hypothesize that an ensemble of small, open LLMs could perform competitively to proprietary LLMs on the benchmark.