Evaluation of large language models using an Indian language LGBTI+ lexicon

📄 arXiv: 2310.17787v1 📥 PDF

作者: Aditya Joshi, Shruta Rawat, Alpana Dange

分类: cs.CL, cs.AI

发布日期: 2023-10-26

备注: Selected for publication in the AI Ethics Journal published by the Artificial Intelligence Robotics Ethics Society (AIRES)

💡 一句话要点

提出基于印度语言LGBTI+词典的LLM评估方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 LGBTI+ 自然语言处理 社会责任 领域特定评估

📋 核心要点

  1. 现有的LLM评估方法主要依赖于任务基准，未能关注特定领域的责任行为，尤其是在LGBTI+语境中。
  2. 本文提出了一种四步法，通过制定相关任务、创建测试提示、生成输出和人工评估，来评估LLMs在LGBTI+领域的表现。
  3. 实验结果显示，所测试的LLMs在识别仇恨内容方面存在明显不足，同时机器翻译在非英语语言的自然语言理解评估中也存在局限。

📝 摘要（中文）

大型语言模型（LLMs）通常通过任务基准进行评估，如MMLU。然而，这些基准未能在特定上下文中考察LLMs的责任行为，尤其是在LGBTI+领域。本文提出了一种使用印度语言LGBTI+词典评估LLMs的方法，包括四个步骤：制定相关的自然语言处理任务、创建测试提示、使用LLMs生成输出，最后进行人工评估。定性分析表明，实验中的三种LLMs未能识别潜在的仇恨内容，同时在使用机器翻译评估非英语语言的自然语言理解方面也存在局限性。该方法可为其他语言的LGBTI+词典及其他领域特定词典的评估提供参考。

🔬 方法详解

问题定义：本文旨在解决现有LLM评估方法在特定社会语境（如LGBTI+）下的不足，尤其是未能有效识别仇恨内容的问题。

核心思路：通过构建一个针对LGBTI+的领域特定词典，设计相关的自然语言处理任务，以更准确地评估LLMs在特定语境下的表现。

技术框架：该方法包括四个主要步骤：1) 制定与LGBTI+相关的NLP任务；2) 创建测试提示以评估LLMs；3) 使用LLMs生成输出；4) 进行人工评估以分析结果。

关键创新：本研究的创新在于提出了一种领域特定的评估方法，强调了在特定社会语境下LLMs的责任行为，与传统的任务基准评估方法形成鲜明对比。

关键设计：在设计过程中，特别关注了提示的构建和评估标准的制定，以确保能够有效捕捉LLMs在处理LGBTI+相关内容时的表现。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果显示，三种LLMs在识别仇恨内容方面的表现均不理想，且在非英语语言的自然语言理解评估中，机器翻译方法的有效性受到质疑。这表明现有LLMs在处理特定社会语境时的局限性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容审核、在线社区管理以及教育领域的语言模型应用。通过提供更具责任感的评估方法，可以促进LLMs在敏感社会话题上的应用，减少误解和偏见的传播。

📄 摘要（原文）

Large language models (LLMs) are typically evaluated on the basis of task-based benchmarks such as MMLU. Such benchmarks do not examine responsible behaviour of LLMs in specific contexts. This is particularly true in the LGBTI+ context where social stereotypes may result in variation in LGBTI+ terminology. Therefore, domain-specific lexicons or dictionaries may be useful as a representative list of words against which the LLM's behaviour needs to be evaluated. This paper presents a methodology for evaluation of LLMs using an LGBTI+ lexicon in Indian languages. The methodology consists of four steps: formulating NLP tasks relevant to the expected behaviour, creating prompts that test LLMs, using the LLMs to obtain the output and, finally, manually evaluating the results. Our qualitative analysis shows that the three LLMs we experiment on are unable to detect underlying hateful content. Similarly, we observe limitations in using machine translation as means to evaluate natural language understanding in languages other than English. The methodology presented in this paper can be useful for LGBTI+ lexicons in other languages as well as other domain-specific lexicons. The work done in this paper opens avenues for responsible behaviour of LLMs, as demonstrated in the context of prevalent social perception of the LGBTI+ community.