Enhancing Travel Choice Modeling with Large Language Models: A Prompt-Learning Approach
作者: Xuehao Zhai, Hanlin Tian, Lintong Li, Tianyu Zhao
分类: cs.AI
发布日期: 2024-06-19 (更新: 2024-06-22)
备注: We currently do not have a replacement version available. We request withdrawal due to a significant methodological error affecting the paper's validity, specifically a miscalculation in data preprocessing. We are working on corrections, but this will take time. We believe an interim withdrawal is necessary to prevent the dissemination of incorrect information.
💡 一句话要点
提出基于Prompt Learning的大语言模型框架，提升出行选择建模的精度和可解释性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 出行选择建模 大语言模型 Prompt Learning 智能交通系统 可解释性
📋 核心要点
- 现有出行选择模型在数据有限的情况下表现不佳，且难以同时保证高精度和可解释性。
- 利用Prompt Learning，将出行选择建模转化为LLM擅长的文本理解和生成任务，提升模型性能。
- 实验结果表明，该框架在两个常用数据集上显著优于传统方法，并能提供个体层面的可解释性。
📝 摘要（中文）
出行选择分析对于理解个体出行行为至关重要，有助于在智能交通系统（ITS）中制定合适的交通政策和推荐系统。尽管该领域研究广泛，但仍面临两个关键挑战：a) 基于有限调查数据进行建模，以及 b) 同时实现高模型可解释性和准确性。本文提出了一种新颖的基于Prompt Learning的大语言模型（LLM）框架，该框架显著提高了预测精度，并为个体预测提供明确的解释。该框架包括三个主要步骤：将输入变量转换为文本形式；构建与目标相似的演示；并将这些应用于一个训练良好的LLM。我们使用两个广泛使用的选择数据集：伦敦乘客模式选择（LPMC）和在瑞士收集的Optima-Mode，测试了该框架的有效性。结果表明，LLM在预测人们的选择方面明显优于最先进的深度学习方法和离散选择模型。此外，我们展示了一个解释案例，说明LLM框架如何在个体层面生成可理解和明确的解释。
🔬 方法详解
问题定义：出行选择建模旨在预测个体在不同出行方式之间的选择行为。现有方法，如离散选择模型和深度学习模型，在数据量有限的情况下泛化能力不足，且模型决策过程难以解释，限制了其在实际交通政策制定和推荐系统中的应用。
核心思路：论文的核心思路是将出行选择建模问题转化为一个Prompt Learning任务。通过将输入变量（如出行成本、时间等）转化为文本描述，并构建合适的Prompt，引导LLM进行选择预测和解释。这种方法利用了LLM强大的语言理解和生成能力，从而在数据有限的情况下提高预测精度和可解释性。
技术框架：该框架包含三个主要步骤：1) 文本转换：将输入变量（如出行成本、时间等）转换为自然语言描述。例如，将出行时间“30分钟”转换为“The travel time is 30 minutes”。2) Prompt构建：构建包含示例（demonstrations）的Prompt，引导LLM学习出行选择的模式。这些示例包括输入变量的文本描述和对应的出行选择结果。3) LLM预测与解释：将构建好的Prompt输入到预训练的LLM中，LLM根据Prompt中的示例进行选择预测，并生成相应的解释。
关键创新：该论文的关键创新在于将Prompt Learning引入到出行选择建模领域。与传统的离散选择模型和深度学习模型相比，该方法能够利用LLM的先验知识和强大的语言理解能力，从而在数据有限的情况下提高预测精度和可解释性。此外，该方法能够生成个体层面的解释，有助于理解个体的出行行为。
关键设计：论文中关键的设计包括：1) 如何将输入变量有效地转换为文本描述；2) 如何构建合适的Prompt，包括选择哪些示例以及如何组织这些示例；3) 如何选择合适的LLM以及如何对其进行微调（如果需要）。具体的参数设置、损失函数和网络结构等技术细节在论文中可能没有详细描述，属于LLM本身的设计。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架在伦敦乘客模式选择（LPMC）和Optima-Mode数据集上显著优于最先进的深度学习方法和离散选择模型。具体性能数据和提升幅度在论文中给出。此外，论文还展示了一个案例，说明该框架能够生成个体层面的可解释性结果，有助于理解模型的决策过程。
🎯 应用场景
该研究成果可应用于智能交通系统中的出行方式推荐、交通政策评估和个性化出行服务。通过更准确地预测个体出行选择，可以为用户提供更合理的出行建议，优化交通资源配置，并评估不同交通政策对个体出行行为的影响。未来，该方法还可以扩展到其他交通领域，如共享出行、自动驾驶等。
📄 摘要（原文）
Travel choice analysis is crucial for understanding individual travel behavior to develop appropriate transport policies and recommendation systems in Intelligent Transportation Systems (ITS). Despite extensive research, this domain faces two critical challenges: a) modeling with limited survey data, and b) simultaneously achieving high model explainability and accuracy. In this paper, we introduce a novel prompt-learning-based Large Language Model(LLM) framework that significantly improves prediction accuracy and provides explicit explanations for individual predictions. This framework involves three main steps: transforming input variables into textual form; building of demonstrations similar to the object, and applying these to a well-trained LLM. We tested the framework's efficacy using two widely used choice datasets: London Passenger Mode Choice (LPMC) and Optima-Mode collected in Switzerland. The results indicate that the LLM significantly outperforms state-of-the-art deep learning methods and discrete choice models in predicting people's choices. Additionally, we present a case of explanation illustrating how the LLM framework generates understandable and explicit explanations at the individual level.