Whose Journey Matters? Investigating Identity Biases in Large Language Models (LLMs) for Travel Planning Assistance

📄 arXiv: 2410.17333v3 📥 PDF

作者: Ruiping Ren, Yingwei, Xu, Xing Yao, Shu Cole, Haining Wang

分类: cs.AI, cs.CL, cs.CY

发布日期: 2024-10-22 (更新: 2025-10-18)

💡 一句话要点

揭示大型语言模型在旅行规划中对不同身份群体的偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 旅行规划 公平性 偏见检测 社会身份 刻板印象 幻觉

📋 核心要点

  1. 大型语言模型在旅游业应用日益广泛，但其对不同身份群体的公平性存在挑战。
  2. 该研究通过公平性探测，分析LLM在旅行推荐中存在的种族和性别偏见。
  3. 实验结果表明，LLM在旅行推荐中存在刻板印象和幻觉，对少数群体存在偏见。

📝 摘要（中文）

随着大型语言模型（LLMs）在酒店和旅游业中变得越来越重要，它们在服务不同身份群体方面的公平性问题日益突出。本研究基于社会身份理论和社会技术系统理论，检验了LLMs在旅行推荐中存在的种族和性别偏见。通过公平性探测，我们分析了三个领先的开源LLMs的输出。结果表明，种族和性别分类器的测试准确率均高于随机水平。对最具影响力的特征的分析揭示了LLM生成的推荐中存在刻板印象偏见。我们还发现这些特征中存在幻觉，且在针对少数群体的推荐中更为频繁。这些发现表明，LLMs在作为旅行规划助手时表现出种族和性别偏见。本研究强调需要采取偏见缓解策略，以提高生成式人工智能驱动的旅行规划辅助的包容性和可靠性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在旅行规划辅助应用中，对不同种族和性别群体存在的偏见问题。现有方法缺乏对LLM公平性的有效评估，可能导致对特定群体的歧视性推荐，从而损害用户体验和公平性。

核心思路：论文的核心思路是通过公平性探测技术，分析LLM生成的旅行推荐结果，识别并量化其中存在的种族和性别偏见。通过分析最具影响力的特征，揭示LLM中存在的刻板印象和幻觉现象，从而深入理解偏见的来源。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 数据收集：构建包含不同种族和性别身份的旅行规划提示词数据集。2) LLM推理：使用构建的数据集，通过三个领先的开源LLMs生成旅行推荐结果。3) 公平性探测：训练种族和性别分类器，评估LLM生成结果的公平性。4) 特征分析：分析最具影响力的特征，识别刻板印象和幻觉现象。

关键创新：该研究的关键创新在于将公平性探测技术应用于评估LLM在旅行规划辅助应用中的偏见。通过分析最具影响力的特征，揭示了LLM中存在的刻板印象和幻觉现象，为偏见缓解提供了新的视角。

关键设计：论文的关键设计包括：1) 使用社会身份理论和社会技术系统理论作为研究的理论基础。2) 构建包含不同种族和性别身份的旅行规划提示词数据集。3) 使用准确率作为评估LLM公平性的指标。4) 分析最具影响力的特征，识别刻板印象和幻觉现象。

📊 实验亮点

实验结果表明，LLM生成的旅行推荐结果在种族和性别分类器的测试准确率均高于随机水平，表明存在显著的偏见。对最具影响力的特征的分析揭示了LLM中存在刻板印象和幻觉现象，尤其是在针对少数群体的推荐中更为频繁。这些发现强调了LLM在旅行规划辅助应用中存在公平性问题。

🎯 应用场景

该研究成果可应用于改进旅游推荐系统，提升其公平性和包容性。通过识别和缓解LLM中的偏见，可以为不同身份群体的用户提供更个性化、更可靠的旅行规划建议。此外，该研究方法也可推广到其他领域，例如招聘、信贷评估等，以评估和改进AI系统的公平性。

📄 摘要（原文）

As large language models (LLMs) become increasingly integral to the hospitality and tourism industry, concerns about their fairness in serving diverse identity groups persist. Grounded in social identity theory and sociotechnical systems theory, this study examines ethnic and gender biases in travel recommendations generated by LLMs. Using fairness probing, we analyze outputs from three leading open-source LLMs. The results show that test accuracy for both ethnicity and gender classifiers exceed random chance. Analysis of the most influential features reveals the presence of stereotype bias in LLM-generated recommendations. We also found hallucinations among these features, occurring more frequently in recommendations for minority groups. These findings indicate that LLMs exhibit ethnic and gender bias when functioning as travel planning assistants. This study underscores the need for bias mitigation strategies to improve the inclusivity and reliability of generative AI-driven travel planning assistance.