Quantile Regression with Large Language Models for Price Prediction

📄 arXiv: 2506.06657v1 📥 PDF

作者: Nikhita Vedula, Dushyanta Dhyani, Laleh Jalali, Boris Oreshkin, Mohsen Bayati, Shervin Malmasi

分类: cs.CL, cs.AI

发布日期: 2025-06-07

备注: Accepted to Findings of ACL, 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于LLM的分位数回归方法，用于提升价格预测的准确性和不确定性量化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 分位数回归 价格预测 概率回归 不确定性量化

📋 核心要点

  1. 现有基于LLM的回归方法侧重于点估计，忽略了预测的不确定性，限制了其在需要风险评估的场景中的应用。
  2. 提出一种基于LLM的分位数回归方法，通过预测分位数来构建完整的预测分布，从而量化预测的不确定性。
  3. 实验表明，使用分位数头微调的Mistral-7B模型在价格预测任务中，显著优于传统方法和其它LLM方法。

📝 摘要（中文）

大型语言模型(LLMs)在结构化预测任务（包括回归）中展现出潜力，但现有方法主要关注点估计，缺乏不同方法间的系统性比较。本文研究了使用LLMs进行概率回归的方法，用于解决非结构化输入带来的挑战性文本到分布预测任务，例如价格估计，其中细致的文本理解和不确定性量化至关重要。我们提出了一种新颖的分位数回归方法，使LLMs能够生成完整的预测分布，从而改进传统的点估计。通过在三个不同的价格预测数据集上进行的大量实验，我们证明了使用分位数头微调的Mistral-7B模型在点估计和分布估计方面均显著优于传统方法，这通过三个已建立的预测准确性和分布校准指标来衡量。我们对LLM方法、模型架构、训练方法和数据缩放的系统比较表明，Mistral-7B始终优于编码器架构、基于嵌入的方法和少样本学习方法。我们的实验还揭示了LLM辅助标签校正在实现无人为系统偏差的人工水平精度方面的有效性。我们整理的数据集可在https://github.com/vnik18/llm-price-quantile-reg/上获得，以支持未来的研究。

🔬 方法详解

问题定义：论文旨在解决价格预测问题，特别是当输入为非结构化文本时，如何利用大型语言模型（LLM）进行准确的概率预测。现有方法主要集中于点估计，无法提供预测的不确定性信息，这在价格预测等风险敏感场景中是不够的。

核心思路：论文的核心思路是利用LLM强大的文本理解能力，结合分位数回归的思想，直接预测价格分布的分位数，从而构建完整的预测分布。这种方法能够同时提供点估计和不确定性量化，更符合实际应用的需求。

技术框架：整体框架包括以下几个主要步骤：1）使用预训练的LLM（如Mistral-7B）作为基础模型；2）在LLM的输出层添加多个分位数回归头，每个头预测一个特定的分位数；3）使用价格预测数据集对整个模型进行微调，目标是最小化分位数回归损失函数；4）在推理阶段，通过多个分位数回归头的输出构建完整的价格预测分布。

关键创新：论文的关键创新在于将分位数回归与大型语言模型相结合，提出了一种新的概率回归方法。与传统的点估计方法相比，该方法能够提供更丰富的不确定性信息。此外，论文还探索了LLM辅助标签校正的方法，进一步提高了预测精度。

关键设计：关键设计包括：1）选择Mistral-7B作为基础模型，因为它在性能和效率之间取得了良好的平衡；2）使用多个分位数回归头，每个头预测一个特定的分位数（例如，0.1、0.5、0.9）；3）使用分位数回归损失函数作为优化目标，该损失函数能够鼓励模型准确预测各个分位数；4）探索LLM辅助标签校正，利用LLM的知识来纠正数据集中的错误标签。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用分位数头微调的Mistral-7B模型在三个不同的价格预测数据集上，显著优于传统的点估计方法和其它LLM方法。具体而言，该方法在预测准确性和分布校准方面均取得了显著提升，并且LLM辅助标签校正能够进一步提高预测精度，达到人工水平。

🎯 应用场景

该研究成果可广泛应用于金融、电商、房地产等领域的价格预测场景。例如，可以用于股票价格预测、商品定价、房屋估值等。通过提供更准确的价格预测和不确定性量化，可以帮助决策者更好地评估风险，做出更明智的决策。此外，该方法还可以应用于其他文本到分布预测任务，例如预测用户评论的情感分布。

📄 摘要（原文）

Large Language Models (LLMs) have shown promise in structured prediction tasks, including regression, but existing approaches primarily focus on point estimates and lack systematic comparison across different methods. We investigate probabilistic regression using LLMs for unstructured inputs, addressing challenging text-to-distribution prediction tasks such as price estimation where both nuanced text understanding and uncertainty quantification are critical. We propose a novel quantile regression approach that enables LLMs to produce full predictive distributions, improving upon traditional point estimates. Through extensive experiments across three diverse price prediction datasets, we demonstrate that a Mistral-7B model fine-tuned with quantile heads significantly outperforms traditional approaches for both point and distributional estimations, as measured by three established metrics each for prediction accuracy and distributional calibration. Our systematic comparison of LLM approaches, model architectures, training approaches, and data scaling reveals that Mistral-7B consistently outperforms encoder architectures, embedding-based methods, and few-shot learning methods. Our experiments also reveal the effectiveness of LLM-assisted label correction in achieving human-level accuracy without systematic bias. Our curated datasets are made available at https://github.com/vnik18/llm-price-quantile-reg/ to support future research.