Predicting Rental Price of Lane Houses in Shanghai with Machine Learning Methods and Large Language Models

📄 arXiv: 2405.17505v1 📥 PDF

作者: Tingting Chen, Shijing Si

分类: cs.LG, cs.CL

发布日期: 2024-05-26

备注: 13 pages, 11 figures, 39 references

💡 一句话要点

利用机器学习与大语言模型预测上海里弄房屋租金

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 租金预测 机器学习 大语言模型 ChatGPT 房地产市场

📋 核心要点

  1. 上海等大城市房价高企，年轻人租房需求旺盛，但租金预测仍面临挑战。
  2. 利用传统机器学习模型和ChatGPT大语言模型，构建租金预测模型。
  3. 实验表明，随机森林在传统方法中表现最佳，而10-shot的ChatGPT模型表现超越传统方法。

📝 摘要（中文）

住房问题已成为包括上海在内的大城市中年轻人的重要关切。鉴于上海房价的空前上涨，越来越多的年轻人转向租赁市场以满足住房需求。本研究采用五种传统机器学习方法：多元线性回归（MLR）、岭回归（RR）、Lasso回归（LR）、决策树（DT）和随机森林（RF），以及使用ChatGPT的大语言模型（LLM）方法，来预测上海里弄房屋的租金。该研究将这些方法应用于2021年上海约2609笔里弄房屋租赁交易的公开数据样本，并比较了这些方法的结果。在预测能力方面，RF在传统方法中表现最佳。然而，LLM方法，特别是在10-shot场景中，显示出有希望的结果，在R-Squared值方面超过了传统方法。使用均方误差（MSE）、平均绝对误差（MAE）和R-Squared三个性能指标来评估模型。我们的结论是，虽然传统的机器学习模型为租金价格预测提供了强大的技术，但集成LLM（如ChatGPT）具有提高预测准确性的巨大潜力。

🔬 方法详解

问题定义：论文旨在解决上海里弄房屋租金的精准预测问题。现有方法，如传统的统计模型和机器学习模型，在捕捉复杂市场动态和非线性关系方面存在局限性，导致预测精度不高。此外，传统方法依赖于人工特征工程，耗时且可能引入主观偏差。

核心思路：论文的核心思路是结合传统机器学习模型的优势和大语言模型（LLM）的强大语言理解和生成能力，以期更准确地预测租金。LLM能够从大量文本数据中学习到丰富的语义信息和市场规律，从而提升预测性能。

技术框架：整体框架包括数据预处理、特征工程、模型训练和评估四个主要阶段。首先，对原始租赁数据进行清洗和整理，提取相关特征。然后，分别使用传统机器学习模型（MLR、RR、LR、DT、RF）和LLM（ChatGPT）进行训练。最后，使用MSE、MAE和R-Squared等指标评估模型的预测性能。对于LLM，采用few-shot learning的方式，即提供少量示例（例如10-shot）来引导模型进行预测。

关键创新：论文的关键创新在于将大语言模型应用于租金预测任务，并探索了其在few-shot setting下的性能。与传统方法相比，LLM能够更好地理解房屋描述、地理位置等文本信息，从而更准确地捕捉影响租金的因素。

关键设计：对于传统机器学习模型，采用了标准的参数设置和训练流程。对于LLM（ChatGPT），采用了10-shot learning的方式，即在提示中提供10个房屋租赁信息和对应租金的示例，然后要求模型预测目标房屋的租金。损失函数采用均方误差（MSE），优化器采用Adam。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，随机森林（RF）在传统机器学习方法中表现最佳。更重要的是，在10-shot场景下，ChatGPT大语言模型在R-Squared指标上超越了传统机器学习方法，表明LLM在租金预测方面具有巨大潜力。这为未来利用LLM进行房地产市场分析提供了新的思路。

🎯 应用场景

该研究成果可应用于房地产市场分析、租金定价策略制定、智能房产推荐系统等领域。通过更准确的租金预测，可以帮助租房者做出更明智的决策，提高租赁市场的效率和透明度。未来，该方法可以推广到其他城市的房屋租赁市场，甚至可以应用于其他类型的价格预测任务。

📄 摘要（原文）

Housing has emerged as a crucial concern among young individuals residing in major cities, including Shanghai. Given the unprecedented surge in property prices in this metropolis, young people have increasingly resorted to the rental market to address their housing needs. This study utilizes five traditional machine learning methods: multiple linear regression (MLR), ridge regression (RR), lasso regression (LR), decision tree (DT), and random forest (RF), along with a Large Language Model (LLM) approach using ChatGPT, for predicting the rental prices of lane houses in Shanghai. It applies these methods to examine a public data sample of about 2,609 lane house rental transactions in 2021 in Shanghai, and then compares the results of these methods. In terms of predictive power, RF has achieved the best performance among the traditional methods. However, the LLM approach, particularly in the 10-shot scenario, shows promising results that surpass traditional methods in terms of R-Squared value. The three performance metrics: mean squared error (MSE), mean absolute error (MAE), and R-Squared, are used to evaluate the models. Our conclusion is that while traditional machine learning models offer robust techniques for rental price prediction, the integration of LLM such as ChatGPT holds significant potential for enhancing predictive accuracy.