Large Language Models in the Travel Domain: An Industrial Experience

📄 arXiv: 2507.22910v1 📥 PDF

作者: Sergio Di Meglio, Aniello Somma, Luigi Libero Lucio Starace, Fabio Scippacercola, Giancarlo Sperlì, Sergio Di Martino

分类: cs.CL, cs.AI

发布日期: 2025-07-18

备注: Manuscript accepted to the International Conference on Software Engineering and Knowledge Engineering (SEKE) 2025

💡 一句话要点

利用大语言模型提升旅游平台住宿信息质量：一项工业实践

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 旅游领域 住宿预订 信息质量 幻觉抑制

📋 核心要点

  1. 在线住宿预订平台面临第三方数据源不完整、不一致的问题，影响用户体验和市场份额。
  2. 论文探索利用大型语言模型（LLM）生成一致、准确的住宿描述，减少信息缺失和幻觉。
  3. 实验表明，Mixtral 8x7B在完整性、精确性和幻觉率方面优于Mistral 7B，但计算成本更高。

📝 摘要（中文）

在线住宿预订平台广泛使用，并高度依赖于关于住宿设施的最新信息，这些信息通常来自第三方提供商。然而，这些外部数据源经常受到不完整或不一致细节的影响，这会令用户感到沮丧并导致市场损失。为了应对这些挑战，我们提出了一个工业案例研究，涉及将大型语言模型（LLM）集成到FERVENTO开发的住宿预订平台CALEIDOHOTELS中。我们评估了两个著名的LLM：使用QLoRA微调的Mistral 7B和使用改进的系统提示的Mixtral 8x7B。两种模型都基于其生成一致和同质描述同时最小化幻觉的能力进行评估。Mixtral 8x7B在完整性（99.6% vs. 93%）、精确性（98.8% vs. 96%）和幻觉率（1.2% vs. 4%）方面优于Mistral 7B，产生了更短但更简洁的内容（平均249 vs. 277个单词）。然而，这带来了更高的计算成本：50GB VRAM和1.61美元/小时，而Mistral 7B为5GB和0.16美元/小时。我们的发现为模型质量和资源效率之间的权衡提供了实践见解，为在生产环境中部署LLM提供了指导，并证明了它们在提高住宿数据的一致性和可靠性方面的有效性。

🔬 方法详解

问题定义：在线住宿预订平台依赖的第三方数据源存在信息不完整和不一致的问题，导致用户体验下降和市场损失。现有方法难以保证住宿信息的质量和一致性，容易出现信息缺失或错误（幻觉）。

核心思路：利用大型语言模型（LLM）的生成能力，从现有的不完整或不一致的信息中生成高质量、一致的住宿描述。通过微调和提示工程，引导LLM生成准确、全面的信息，并减少幻觉的产生。

技术框架：该研究将LLM集成到CALEIDOHOTELS平台中，主要流程包括：1) 从第三方数据源获取住宿信息；2) 使用LLM（Mistral 7B或Mixtral 8x7B）生成住宿描述；3) 评估生成的描述的质量（完整性、精确性和幻觉率）。Mistral 7B使用QLoRA进行微调，Mixtral 8x7B使用改进的系统提示。

关键创新：该研究的关键创新在于将LLM应用于解决在线住宿预订平台的数据质量问题，并对两种不同的LLM（Mistral 7B和Mixtral 8x7B）进行了对比评估。通过实验分析，揭示了模型质量和计算成本之间的权衡关系，为实际应用提供了指导。

关键设计：Mistral 7B使用QLoRA进行微调，降低了微调的计算资源需求。Mixtral 8x7B使用了改进的系统提示，以引导模型生成更准确、更全面的信息。评估指标包括完整性（描述包含所有必要信息）、精确性（描述的信息准确无误）和幻觉率（描述包含错误或虚假信息）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Mixtral 8x7B在完整性（99.6% vs. 93%）、精确性（98.8% vs. 96%）和幻觉率（1.2% vs. 4%）方面优于Mistral 7B。虽然Mixtral 8x7B的计算成本更高（50GB VRAM和1.61美元/小时 vs. 5GB和0.16美元/小时），但其更高的信息质量使其成为更优的选择，尤其是在对信息准确性要求较高的场景下。

🎯 应用场景

该研究成果可应用于各种在线预订平台，例如酒店、民宿、旅游景点等。通过利用LLM生成高质量、一致的信息，可以提升用户体验，提高预订转化率，并降低因信息错误导致的客户投诉。该方法还可以扩展到其他需要处理大量非结构化数据的领域，例如电商产品描述、新闻摘要等。

📄 摘要（原文）

Online property booking platforms are widely used and rely heavily on consistent, up-to-date information about accommodation facilities, often sourced from third-party providers. However, these external data sources are frequently affected by incomplete or inconsistent details, which can frustrate users and result in a loss of market. In response to these challenges, we present an industrial case study involving the integration of Large Language Models (LLMs) into CALEIDOHOTELS, a property reservation platform developed by FERVENTO. We evaluate two well-known LLMs in this context: Mistral 7B, fine-tuned with QLoRA, and Mixtral 8x7B, utilized with a refined system prompt. Both models were assessed based on their ability to generate consistent and homogeneous descriptions while minimizing hallucinations. Mixtral 8x7B outperformed Mistral 7B in terms of completeness (99.6% vs. 93%), precision (98.8% vs. 96%), and hallucination rate (1.2% vs. 4%), producing shorter yet more concise content (249 vs. 277 words on average). However, this came at a significantly higher computational cost: 50GB VRAM and $1.61/hour versus 5GB and $0.16/hour for Mistral 7B. Our findings provide practical insights into the trade-offs between model quality and resource efficiency, offering guidance for deploying LLMs in production environments and demonstrating their effectiveness in enhancing the consistency and reliability of accommodation data.