OccuQuest: Mitigating Occupational Bias for Inclusive Large Language Models
作者: Mingfeng Xue, Dayiheng Liu, Kexin Yang, Guanting Dong, Wenqiang Lei, Zheng Yuan, Chang Zhou, Jingren Zhou
分类: cs.CL
发布日期: 2023-10-25
💡 一句话要点
提出OccuQuest以解决职业偏见问题，促进语言模型的包容性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 职业偏见 语言模型 指令调优 数据集构建 专业查询 微调技术 模型评估
📋 核心要点
- 现有的指令调优数据集存在职业偏见，导致大型语言模型在特定职业查询中的表现不佳。
- 论文提出了OccuQuest数据集，包含多样化的职业提示和对话，以增强模型的职业包容性。
- 通过微调LLaMA，OccuLLaMA在多个专业问题上显著超越了当前最先进的模型，尤其在真实世界问题上表现优异。
📝 摘要（中文）
大型语言模型（LLMs）的出现彻底改变了自然语言处理任务。然而，现有的指令调优数据集存在职业偏见，大多数数据仅涉及少数职业，限制了LLMs在特定领域专业查询中的有效性。为了解决这一问题并促进职业包容性，我们创建了一个名为OccuQuest的指令调优数据集，包含超过110,000个提示-完成对和30,000个对话，涵盖26个职业类别中的1,000多个职业。通过与三种常用数据集（Dolly、ShareGPT和WizardLM）的比较，OccuQuest在职业分布上表现出更均衡的特征。我们还组建了三个测试集进行全面评估，并在OccuQuest上微调LLaMA，得到的OccuLLaMA在专业问题上显著优于现有的LLaMA变体。
🔬 方法详解
问题定义：现有的指令调优数据集在职业分布上存在偏见，导致大型语言模型在特定职业领域的查询响应能力不足。
核心思路：通过构建一个包含多种职业的指令调优数据集OccuQuest，系统性地覆盖职业专业查询，以提高模型的包容性和响应能力。
技术框架：数据集由超过110,000个提示-完成对和30,000个对话组成，涵盖26个职业类别。使用ChatGPT进行分层查询组织，确保全面覆盖。
关键创新：OccuQuest数据集的构建是本研究的核心创新，显著改善了职业分布的均衡性，与现有数据集相比，提供了更丰富的职业信息。
关键设计：在微调过程中，采用了特定的损失函数和参数设置，以优化模型在专业问题上的表现，确保OccuLLaMA在实际应用中的有效性。
🖼️ 关键图片
📊 实验亮点
在实验中，OccuLLaMA在occ-quora测试集上以86.4%的胜率超越了WizardLM，显示出其在处理专业问题上的卓越能力。此外，OccuQuest的数据集在职业分布上表现出更均衡的特征，显著提升了模型的响应质量。
🎯 应用场景
该研究的潜在应用领域包括教育、职业培训和专业咨询等，能够为不同职业的从业者提供更精准的语言模型支持。未来，随着数据集的扩展和模型的优化，可能会在更多行业中实现广泛应用，提升专业领域的工作效率和决策能力。
📄 摘要（原文）
The emergence of large language models (LLMs) has revolutionized natural language processing tasks. However, existing instruction-tuning datasets suffer from occupational bias: the majority of data relates to only a few occupations, which hampers the instruction-tuned LLMs to generate helpful responses to professional queries from practitioners in specific fields. To mitigate this issue and promote occupation-inclusive LLMs, we create an instruction-tuning dataset named \emph{OccuQuest}, which contains 110,000+ prompt-completion pairs and 30,000+ dialogues covering over 1,000 occupations in 26 occupational categories. We systematically request ChatGPT, organizing queries hierarchically based on Occupation, Responsibility, Topic, and Question, to ensure a comprehensive coverage of occupational specialty inquiries. By comparing with three commonly used datasets (Dolly, ShareGPT, and WizardLM), we observe that OccuQuest exhibits a more balanced distribution across occupations. Furthermore, we assemble three test sets for comprehensive evaluation, an occu-test set covering 25 occupational categories, an estate set focusing on real estate, and an occu-quora set containing real-world questions from Quora. We then fine-tune LLaMA on OccuQuest to obtain OccuLLaMA, which significantly outperforms state-of-the-art LLaMA variants (Vicuna, Tulu, and WizardLM) on professional questions in GPT-4 and human evaluations. Notably, on the occu-quora set, OccuLLaMA reaches a high win rate of 86.4\% against WizardLM.